Il a été construit entre 1856 et 1860 sur l'ancien site du pavillon des Beaux-Arts de l'Exposition universelle de 1855. En tant que président de l'Exposition, Jérôme avait acheté le terrain à cette fin, afin de faire plaisir à sa maîtresse, la tragédienne Rachel, en lui construisant un palais rappelant les villas de Pompéi. Les architectes comprenaient Jacques-Ignace Hittorff , Auguste Rougévin et Alfred-Nicolas Normand. Camille-Auguste Gastine a créé les schémas décoratifs dans le style pompéien.