Ulli Lommel var sønn av skuespilleren og komikeren Ludwig Manfred Lommel (1891–1962) og hans hustru skuespillerinnen Karla von Cleef, og bror til skuespillerinnen Ruth Lommel (født 1918) og filmfotografen Manuel Lommel (født 1949).