Im 14. Jahrhundert wurde die Burg erstmals urkundlich als Eigentum der Grafen von Castell erwähnt. Sie verkauften sie an Graf Jörg zu Hammelburg. Allerdings machte man diesen Kauf später rückgängig. Das Haupthaus wurde im Deutschen Bauernkrieg zerstört und anschließend nicht mehr aufgebaut. Die halb zerstörte Burg gab man noch 1553/1554 während des Zweiten Markgrafenkrieges an Ulrich von Knöringen. 1574 waren allerdings wieder die Grafen Castell im Besitz des Schlosses. Noch im 16. Jahrhundert wurde die Burg als Steinbruch genutzt.