Huset ble opprinnelig bygget for grosserer Fredrik Sundt. Han handlet blant annet med parafin, og dette var opprinnelsen til navnet . Huset ble kjøpt av staten i 1896, og fra 1898 til 1907 ble det brukt som statsministerbolig. Francis Hagerup var første statsminister som bodde i Parkveien 45. Her bodde også de første norske statsministrene etter 1905, men fra og med Wilhelm Christophersen (1908) var bygningen bolig for utenriksministeren, og utenriksminister Johannes Irgens (1910-1913) bodde her i hele sin periode.