Das Schloss war ein blockhafter, viergeschossiger Walmdachbau, der Kern stammt aus dem 16. Jahrhundert. Im Laufe der Jahrhunderte wurde es mehrfach verändert. 1509 kauften die Fugger die Hofmark und renovierten das heruntergekommene Wasserschloss, das während des Dreißigjährigen Kriegs vollkommen verwüstet wurde. 1809 verkaufte Joseph Hugo Fugger das völlig ruinöse und unbewohnbare Schloss an Bischof Clemens Wenzeslaus von Augsburg. Nach nur dreieinhalb Jahren wurde der kgl. bayerische Geheime Rat Klemens von Thünefeld neuer Schlossbesitzer, der das Gebäude 1827 aufgrund des fortgeschrittenen Verfalls bis auf den heute noch erhaltenen Rest abbrechen ließ. 1937 starb mit Leopoldine Freiin von Thünefeld die Familie der Thünefeld aus. Der Besitz ging an Clara von Leonrod, geb. Freiin von Sazenhofen, über. Ihr Sohn Ludwig von Leonrod, der am 25. März 1943 in Ettal Monika Freiin von Twickel geheiratet hatte, gehörte zum Kreis des militärischen Widerstands gegen Hitler um Claus Schenk Graf von Stauffenberg. Nach dem Scheitern des Putsches wurde der Adelige am 26. August 1944 in Berlin-Plötzensee hingerichtet. Monika von Leonrod heiratete 1948 in zweiter Ehe Johann Freiherrn Wiedersperger von Wiedersperg. Seit 1950 dürfen die Nachkommen, die heute im Besitz des Schlosses sind, in Erinnerung an den Widerstandskämpfer den Namen Freiherrn von Wiedersperg-Leonrod führen. Die Familie Wiedersperg-Leonrod lebt auf dem Areal des Schlosses.