La construcción del mismo se inició en 1546 por orden de don Fadrique Enríquez de Ribera y fue diseñado por Martín de Gainza, quien dirigió las obras hasta su muerte, en 1556.