Die ältesten Teile der Burg entstanden im ersten Viertel des 12. Jahrhunderts in der Herrschaft Waischenfeld. Zur gleichen Zeit ist das Ministerialengeschlecht Rabenstein, das als Erbauer der Burg gilt und den Raben im Wappen führte, im Dienste der Edlen von Waischenfeld dokumentiert. Anfang des 13. Jahrhunderts wurde die Vorburg ausgebaut. Während der nächsten Jahrhunderte wechselten Besitzer und Bewohner der Burg, darunter die Familie von Schlüsselberg und die Burggrafen von Nürnberg. Im Jahr 1450 wurde die Burg im Ersten Markgrafenkrieg zerstört und ab 1489 von Konz von Wirsberg wieder aufgebaut.