1624 erbte Friedrich von Rhelling (das Geschlecht der Rehlinger stammt aus Salzburg) die altersschwach gewordene Burg, die er 1636 abtragen und an deren Stelle ein Schloss erbauen ließ. 1693 erwarb Carl Franz Anton Graf von Safré, bayerischer Feldmarschall, Schloss und Hofmark von der Witwe des Friedrich von Rhelling. Im 18. Jahrhundert wechselten sich die gräflichen Familien der Erbville, Nothafft und Totti in dem Besitz ab. 1804 kaufte Freiherr Johann von Peckenzell Mühlheim der Markise (Markgräfin) Maria Anna de Totti ab. Im dritten Koalitionskrieg 1805 wurde das Schloss von den französischen Truppen geplündert und in Brand gesteckt. Dieses Schloss war ein dreigeschoßiger Vierflügelbau mit einem Innenhof.