Construido inicialmente en el siglo XIV-XV, en el siglo siguiente, concretamente entre 1536 y 1553, fue remodelado totalmente por Juan de Vallejo y Francisco de Colonia, dando lugar a la entrada realizada con la típica piedra caliza blanca burgalesa, en esta ocasión proveniente de las canteras de Hontoria de la Cantera que puede contemplarse en la actualidad.