Das Ortsadelsgeschlecht der Nannhofer kam aus der freisingischen Ministerialität. Im Jahr 1305 verkaufte Wernhart von Nannhofen den Sedlhof sowie zwei weitere Höfe samt dem Dorfgericht zu Nannhofen an den Ritter Ott den Eisenhofer. Seit der Mitte des 14. Jahrhunderts sind in Nannhofen die Marschälle von Bergkirchen-Nannhofen nachweisbar. Um 1403/05 erwarb Herzog Ludwig der Gebartete von Bayern-Ingolstadt die Burg Nannhofen von dem Münchner Patrizier Sentlinger und baute die Burg zur „Veste“ aus. Sie wurde jedoch 1422 im bayerischen Krieg zerstört. Im Auftrag des Münchner Herzogs Willhelm III. wurde sie „noch schöner“ wiederhergestellt. Nach dem Tode Herzog Albrechts III. war sie Witwensitz von Herzogin Anna, wo sie am 9. Oktober 1474 verstarb. Der Ort wurde herzogliche Hofmark und kam 1585 an den bayerischen Hofkanzler Christoph Elsenheimer und dessen Nachkommen. 1632 wurde die Veste im Dreißigjährigen Krieg durch schwedische Truppen verwüstet, in der Folge teilweise wieder aufgebaut. 1726 kam die Hofmark an Hofkammerrat Johann Baptist von Ruffini. Das heutige Schloss Nannhofen wurde um 1752 unweit der alten Veste errichtet. 1826 erwarben die Freiherren von Lotzbeck das Schloss mit dem dazugehörigen Patrimonialgericht (aufgehoben 1848). Ein klassizistischer Ausbau erfolgte durch Jean Baptiste Métivier in den Jahren 1840/48.