Nach dem Aussterben der Schlüsselberger belehnte 1347 Kaiser Karl IV. die Nürnberger Burggrafen mit den Rechten „zu den Newenhof“ und an weiteren Orten. Die Burggrafen belehnten 1373 den Nürnberger Reichsschultheißen Heinrich Geuder auf Lebenszeit mit Amt und Gericht Neunhof. 1405 wurde Burggraf Friedrich VI. von König Ruprecht aus dem Reichslehenverband entlassen und verkaufte seinen gesamten Besitz in Neunhof, der damit freies Eigen wurde, an den Nürnberger Bürger Hans Pirckheimer. Die Mendel gelangten dann auf dem Erbweg an die Güter. Sie erbauten einen Wohnturm mit Wassergraben an der Stelle des heutigen „Kolerschlosses“. 1438/40 wurde der Besitz an die Harsdorf und 1441/45 wieder an die Geuder von Heroldsberg verkauft. Im gleichen Jahr erhielt Neunhof das Marktrecht und es ist ein Vogthaus nachweisbar. Im Ersten Markgrafenkrieg wurde der Turm 1449 zerstört, danach aber von Martin Geuder wieder aufgebaut. 1541 teilten sich zwei Brüder, Christoph und Sebald Geuder, den Besitz auf; der erste erhielt den Wohnturm, der zweite wohnte im benachbarten Heroldsberg; sein Sohn Anton ließ sich nach 1570 in Neunhof einen bescheidenen Herrensitz nebst Voithaus und Wirtschaftsgebäuden errichten, das "Schloss II" (später auch „Brille“ oder „Altherrenhäuslein“ genannt). Im Zweiten Markgrafenkrieg 1552 wurde der Turm erneut zerstört und blieb zwei Jahrhunderte als Halbruine liegen. 1582 fiel der Christoph'sche Teil durch Heirat an eine weitere Nürnberger Patrizierfamilie, die Koler von Neunhof. Sie bauten sich neben der Turmruine das Vogtshaus zum Sommersitz aus. Jakob Geuder erbaute sich ab 1611 direkt neben dem kleinen Anton'schen Herrenhaus ein weiteres, größeres mit zehn Fensterachsen. Im Dreißigjährigen Krieg mussten die Arbeiten an dem fortgeschrittenen Bau aber eingestellt werden und 1632 brannte er zum Großteil aus.