La construcción del palacio culminó en 1550, entre encendidas disputas legales del conquistador y sus herederos con las autoridades enviadas por el rey de España.