Nach dem „Bayrisch Stammen-Buch, dritter Teil“ von Wiguleus Hund war hier „ein alt verfallens Burgstall, so die Beheim (= Böhmen) vor Jahren zerstört und abgebrannt“ haben. Die Angabe bezieht sich auf die Auseinandersetzungen zwischen dem Habsburger Friedrich der Schöne und Ludwig der Bayer in der Zeit zwischen 1313 bis 1322, die durch die Schlacht bei Mühldorf zugunsten von dem Wittelsbacher beendet wurden. 1550 ist hier von einem Sitz und einem Sedelhof die Rede. Nach der Karte der Philipp Apian steht 1568 neben der Ortskirche St. Maria eine bedeutsame Wehranlage mit einem von einem steilen Satteldach gedeckten Turm und einem Scharwachtturm. Michael Wening schreibt hingegen in seiner Topographie von 1726: „Anno 1648 ist das Schloß von den Schwedischen Kriegs-Zeiten in Aschen gelegt worden / welches wegen seiner sauberen Wolständigkeit zuerhalten würdig wäre ... Deß gemainen Manns Wohnungen befinden sich in gutem Standt / entgegen aber das Herrschaftliche Schloß noch vnerbauet.“ Von dem Martinsbucher Pfarrer Franz Xaver Prechtl wird 1793 eine Abbildung des Schlosses überliefert, deren Realitätsgehalt aber in Zweifel gezogen werden muss, da diese nur auf mündliche Überlieferungen beruht. Demnach war das Schloss ein annähernd quadratisches Gebäude, das von einem Wassergraben umgeben war und an den Ecken kuppelbewehrte Rundtürme aufwies. Das im Dreißigjährigen Krieg zerstörte Schloss wurde nicht mehr aufgebaut. Im Ort zeugt noch die Schlossstraße von der Anlage, deren Reste noch im 19. Jahrhundert vorhanden gewesen sind.