La falta de datos precisos hace que se dude de la propiedad de los terrenos sobre los que se levantaba, pudiendo pertenecer a los Condes de Haro, reutilizándose sillares del antiguo Castillo de la Mota; o bien sería el solar de la antigua judería.