Die Burg ließ Gregor von Pogen zur Zeit der Ungarneinfälle im 10. Jahrhundert errichten. Ihnen folgten die Grafen von Ering, vermutlich eine Nebenlinie der Pogener. Von 1296 bis 1377 war die Burg an die die Grafen von Hals verpfändet. Im Jahr 1400 wurde das Bauwerk von Ritter Heinrich Weckhinger an Ritter Wilhelm von Fraunhofen verkauft, der die Burg umbauen ließ und sie in Frauenstein umbenannte. Wilhelm Fraunhofer war Hofmeister von Herzog Heinrich von Bayern. 1435 kaufte Herzog Heinrich der Reiche von Niederbaiern und Landshut Frauenstein und vereinigte sie mit der Herrschaft Ering am anderen Innufer. Der Besitz wurde von landesfürstlichen Pflegern verwaltet (z. B. von Kaspar Peuntner). Da die Burg im Niederbayerischen Erbfolgekrieg geplündert und teilweise zerstört wurde, verkaufte der Herzog 1508 die Burg an die Familie Paumgartner, in deren Besitz sie bis 1885 blieb. 1508 bis 1519 ließen die Paumgartner die Burg teilweise neu erbauen. 1602 wurde nach dem Aussterben der Eringer beide Besitze vereinigt. Die Paumgarten wurden 1629 in den Freiherrenstand erhoben und 1745 zu Reichsgrafen ernannt. Die Begräbnisstätte der auf Frauenstein ansässigen Paumgarten befindet sich in der Pfarrkirche zu Mining. Da die Paumgarten großteils in Ering auf der bayerischen Seite lebten, geriet Schloss Frauenstein immer mehr in Verfall. 1807 ließen die Besitzer einen Teil der Burg abtragen (u. a. die Schlosskapelle) und errichteten neben dem Getreidespeicher ein Herrenhaus, in dem sich heute die Burgschänke befindet. Seit 1883 ist das Schloss im Besitz der freiherrlichen Familie von Venningen auf Rigerting.