La edificación actual debe datar del año 1185, cuando Alfonso VIII crea el condado de Pernía a favor del obispo Don Raimundo.