El edificio se construyó aprovechando los sillares de la primitiva iglesia de San Rafael, edificada entre 1787 y 1790 y en estado de ruina tras ser posiblemente parte de la desamortización de Álvarez de Mendizábal.