Considerado por eruditos como Fernando Checa el primer edificio renacentista de la Península, no existen datos documentales sobre la fecha de inicio de la construcción, aunque el viajero Antonio de Lalaing lo ubica en torno a 1502.