Die Burg, um die sich die Herrschaft Waldstetten bildete, wurde vermutlich während des 13. oder 14. Jahrhunderts von den Herren von Rechberg erbaut, am 1. September 1449 im Zuge des süddeutschen Städtekrieges von den Reichsstädten zerstört und nicht wieder aufgebaut. Von der ehemaligen Burganlage sind noch Reste eines Grabens erhalten.