En un principio, tras la fundación por Fray Domingo, las obras se inician en la residencia de los señores, el castillo-palacio.