La historia del palacio empieza en 1653, cuando Inocencio X encargó a Gian Lorenzo Bernini la construcción de una residencia para la familia Ludovisi.