Orms mor Ingerid var enke etter kong Harald Gille, norsk konge 1130-1136. Harald var Inges far. Forholdet mellom Ingerid og Orms far Ivar må ha funnet sted en stund etter Haralds død i 1136, men før morens ekteskap med Ottar Birting i 1146. Det er derfor sannsynlig at Orm ble født rundt 1140, men hans nøyaktige fødselsår eller fødselssted er ikke kjent. Foreldrene var ikke gift, og fikk ikke andre barn enn Orm sammen. Moren Ingerid ble imidlertid senere gift med Arne Ivarsson, som hun fikk blant andre sønnen Nikolas Arnesson med. Nikolas ble senere kjent som biskop av Oslo og leder for Baglerne.