Palasset var opprinnelig tegnet av Giovanni Lorenzo Bernini for den unge kardinal Ludovico Ludovisi, der var nevø til pave Gregor XV. Med pavens død ble byggingen imidlertid innstilt. Det skulle først bli ferdigstilt under pave Innocens XII i 1694 av Berninis elev Carlo Fontana.