Bauherr des Roten Schlosses war der Ratsherr, Losunger und Reichsschultheiß Martin Geuder III. (1455–1532), der ab 1518 auch Pfleger aller Männerklöster in Nürnberg und ab 1524 Pfleger der beiden Nürnberger Pfarrkirchen wurde. Er war ein Freund Albrecht Dürers, welcher bei einem Besuch in Heroldsberg 1510 die Zeichnung "Das Kirchdorf" anfertigte, die älteste bildliche Darstellung des Ortes, auf der im Vordergrund der Neubau zu sehen ist. Nach der Zerstörung während des Zweiten Markgrafenkriegs im Jahr 1552 ließ sein Enkel Julius Geuder das Schloss um 1589 neu errichten. Die im Erdgeschoss heute noch sichtbaren Buckelquader mit Randschlag und Schießscharten gehen vermutlich auf den ersten Bau zurück.