La obra de este último se comenzó en 1564 según las trazas de Giovanni Battista Castello el Bergamasco, según dice Ceán Bermúdez, aunque Fernando Marías sostiene que el palacio fue proyectado por Enrique Egas el Mozo y continuado por el Bergamasco cuando llegó de Italia en 1566 acompañado de buenos artistas y decoradores.