El edificio actual tal como se contempla en la actualidad data de finales del siglo XIV y suele vincularse su erección, a partir de 1399, a la generosidad de Don Pedro de Camargo y Don García de Burgos, que sería sancionada por el obispo Juan de Villacreces aquel año.