Forretningsmannen Westye Egeberg (1770–1830) bygde huset «Udsigten» rundt 1800. Sønnen Westye Martinius Egeberg (1805–1898) overtok Egebergløkken. Han var barnløs, og hans brorsønn Einar Westye Egeberg (1851–1940) overtok, rev den gamle hovedbygningen i tre og førte opp Egebergslottet med Halfdan Berle som arkitekt i 1900 (plantegninger stemplet 1899). Egebergslottet skal da ha vært Oslos største enebolig, med 1600 kvadratmeter over to plan.