Durch Eheschließung mit Regina Valzner, Erbtochter von Peter Valzner, gelangte 1408 Ritter Friedrich von Seckendorff in den Pfandbesitz von Ort und Burg. In einer Urkunde von König Sigismund, ausgestellt am 21. September 1417, erhielt dessen Vater Friedrich von Seckendorff, Hofmeister des Nürnberger Burggrafen, das Marktrecht für das Dorf „zum Hipoltzstain“ und das Privileg zur Befestigung. Zwei Tore wurden am Ost- und Westausgang des Ortes gebaut, den ansonsten – wie für kleinere Orte typisch – ein Hag umgab. Bis heute ist das östliche, 1527 zu einem Wächterhaus ausgebaute „Obere Tor“ erhalten. Ort und Burg gerieten im Ersten Markgrafenkrieg in das Machtgefüge des Albrecht Achilles, daraufhin brannten am 22. Juli 1449 nürnbergische Truppen das „Dorf unter dem Hiltpoltstein“ nieder. Das Adelsgeschlecht der Seckendorffer behielt die Burg bis 1503 in Pfandbesitz.