Bydelen har fått navn etter strøket Ullern, som igjen har fått navn fra Ullern gård. Gårdsnavnet kommer fra norrønt , Ullr + vin (eng). I middelalderen hørte gården til klosteret på Hovedøya. Etter reformasjonen i 1536 ble gården delt mellom kirken og kongen. I 1740 ble gården formelt delt i nedre og øvre Ullern, før disse i henholdsvis 1878 og 1866 kom i Herman Severin Løvenskiolds eie.