El edificio fue adaptado en 1563 para albergar al gobierno, siendo el segundo virrey Luis de Velasco y Ruiz de Alarcón el primero en residir en él, dentro del piso superior del palacio, junto con la Real Audiencia, mientras tenía abajo la cárcel de la Corte Real (la cual fue quemada en 1659) y una serie de bodegas donde los comerciantes podían ser vigilados.