L'edificio alla base della costruzione successiva è un fabbricato già esistente nel XVI secolo, seppur avente dimensioni di molto più ridotte, a cui testimonianza è stata lasciata una lapide voluta da uno dei successivi proprietari, ancora oggi presente nell'atrio d'ingresso. La lapide riporta le armi del Marchese Giambattista Castaldo, generale imperiale che partecipò alla battaglia di Pavia e al sacco di Roma del 1527, primo illustre proprietario del palazzo. Portato in dote dalla nipote del Castaldo, Livia, il palazzo passò in dote nella seconda metà del Cinquecento alla potente famiglia dei Medici di Marignano, cui apparteneva Papa Pio IV, al secolo Giovanni Angelo Medici, fratello della madre di Carlo Borromeo, Margherita.