El palacio fue proyectado por Miguel Ángel, pero fue construido bajo la dirección de Girolamo Rainaldi y de su hijo Carlo Rainaldi, que lo acabó en 1654.