1530 erwarb Martin I. Pfinzing die Burg. Sie ging damit in den Besitz einer alten Nürnberger Patrizierfamilie über, nach der sie bis in die Gegenwart gelegentlich "Pfinzingschloss" genannt wird. Zu Beginn ihrer Grundherrschaft geriet auch Henfenfeld in die Zerstörungen des Zweiten Markgrafenkriegs und wurde wie viele weitere Anlagen in Mittelfranken 1553 niedergebrannt, als markgräfliche Truppen einfielen, deren Parteigänger Hans von Egloffstein sich von den Pfinzings um sein Eigen gebracht sah. Bekanntester Familienvertreter und Burgherr war Paul Pfinzing (1554–1599). Die Pfinzing von Henfenfeld brachten die Burg in eine Familienstiftung ein (im Nürnberger Patriziat "Vorschickung" genannt), die vom Familienältesten administriert wurde. Sie blieben die Burgherren bis zum Erlöschen des Hauptzweiges der Familie 1764, danach fiel die Administration an die Brüder der Witwe, einer geborenen Haller von Hallerstein.