Im 13. Jahrhundert hatten sich die Herren von Birkenfels zu einer starken Herrschaft entwickelt und eine zahlenmäßig beachtliche Untertanenmannschaft geschaffen, wodurch sie neben den Bischöfen von Eichstätt das örtliche Geschehen zu Lehrberg bestimmten. Ihre Burg auf der östlichen Anhöhe, die ihre Anfänge wohl schon im 10. Jahrhundert hatte, bekundete sichtbar ihre Macht. Als die Lehrberger Linie dieses Geschlechts 1536 mit Sigmund von Birkenfels ausstarb, kam der Besitz an die Markgrafen von Brandenburg-Ansbach. Die Burg wurde im Kampf der Markgrafen mit der Freien Reichsstadt Nürnberg (Markgrafenkrieg) offenbar völlig zerstört. Von ihr ist seit langem nichts mehr vorhanden. Allein erhalten sind Reste der unweit der Burg auf dem westlichen Vorsprung der Anhöhe 1430 durch einen Friedrich oder Eustachius von Lerpauer errichteten Bergkapelle St. Jobst, von der noch die Turmruine, die so genannte „Kappl“, steht. Nachdem der letzte des Geschlechts von Birkenfels ohne Nachkommen gestorben war, verlor die Bergkapelle an Bedeutung und verfiel. Bis ins 18. Jahrhundert wurde sie von den Bewohnern Lehrbergs als Steinbruch für den Häuserbau genutzt, bis dieses Vorgehen vom Markgrafen unter Strafe gestellt wurde. Im 19. Jahrhundert wurde die Turmruine unter Denkmalschutz gestellt.