Da haben die Entwickler von Adobe doch wohl wieder mal die Optik geändert ohne uns Bescheid zu geben
Ich sehe in Photoshop hier zwei Möglichkeiten.
Entweder klick auf Maske beim Erstellen des Pfades bei einer existierenden Ebene (Hab hier eine Farbfläche verwendet)
Oder eine Formebene erstellen (eigentlich egal mit welcher Füllung) und eine darüber liegende Ebene als Schnittebene definieren / Alt & Klick zwischen die zwei Ebenen.
In beiden Fällen ist die Grundlage der Ebenenbeschränkung ein Pfad und damit immer knackscharf, so lange Du in PS bist. Beim Speichern dieser Informationen als JPG oder TIFF werden diese Pfade allerdings immer in Pixel umgewandelt. Sie bleiben glaube ich erhalten, wenn Du eine TIFF mit Ebenen schreibst.
So einen Pfad kannst du aber auch in InDesign mit dem Zeichenstift ziehen und füllen.
Ich rate Dir dringend, dass Du Dir InDesign ansiehst und es damit machst. Das ist viel einfacher.