Parece que edificó esta desaparecida fortaleza, a fines del siglo IX, el conde Diego Rodríguez Porcelos, por orden de Alfonso III el Magno, sobre el cerro que domina el valle del Arlanzón y la antigua calzada romana, para vigilar el paso de los musulmanes y oponerse a su avance hacia los territorios de Cantabria y de León. Después, a medida que las circunstancias lo exigieron, fue acomodándose la construcción militar a las necesidades palaciegas, convirtiéndose en lujoso alcázar en tiempos de Alfonso VII y de Alfonso VIII. En el siglo XV, durante la Alcaidía del Conde de Plasencia, aún se conservaba espléndidamente en una era de su prosperidad, pero, a finales del siglo XVI ya se acusa su decadencia, tiene que soportar varias reparaciones e incendios, y prosigue paulatinamente su ruina, hasta la completa destrucción el día 13 de junio de 1813, cuando queda desguarnecido de tropas y volado con explosiones de pólvora al abandonarle las fuerzas de Napoleón.