Mitte des 15. Jahrhunderts war der Veilhof von Wilhelm Rummel an Herdegen Tucher gelangt, der dort seit etwa 1460 eine Saigerhütte zur Gewinnung von Silber aus Kupfererzen betrieb. Wegen des enorm hohen Holzverbrauchs musste sie wie alle anderen im Nürnberger Gebiet ihren Betrieb 1469 einstellen. Herdegens Enkelin Helena Tucher brachte den Veilhof durch ihre Heirat 1513 ihrem Mann Christoph Kreß zu. Der Hof war um 1500 zu einem Festen Haus ausgebaut. Nach der Zerstörung des „burgerssytzles“ und der etwas hangabwärts an der Pegnitz gelegenen, 1507 errichteten Pulvermühle im Zweiten Markgrafenkrieg am 18. Mai 1552 wurde vermutlich bald wieder ein Neubau errichtet, der auf dem Nürnberger Rundprospekt von 1577/81 dargestellt ist. Als Besitzer folgten die Herel, 1621 die Imhoff. Ein Kupferstich von Johann Ulrich Kraus nach einer Vorlage von Johann Andreas Graff zeigt den Oberveilhof 1688 von der Westseite als repräsentatives zweigeschossiges Satteldachgebäude. Eine Federzeichnung um 1698 überliefert dagegen die Ansicht der Süd- und Ostseite sowie des Treppenturms noch mit Sichtfachwerk und nachträglich aufgesetzten Eckerkern. Jakob Christoph Joachim Imhoff (1754–1820) machte 1802 Konkurs. 1805 folgten die Brüder Dr. Martin Wilhelm und Johann Philipp von Neu. Vermutlich in den 1830er Jahren brannte das Herrenhaus ab.