Han var sønn av Otto Ottesen (1830–1916) og Anne Cathrine Magelssen (1832–1924). Faren var nemlig sogneprest i Skjåk fra 1863 til 1877, og forøvrig bror til teologen Jacob Aall Ottesen (1825–1904) som slo seg opp som predikant blant norskamerikanerne i USA. Immanuel var blant de aller yngste. Blant søsknene ble Otto Christian Ottesen (1864–1934) tannlege, Alfred Ottesen (1871–1946) ble tannlege, Hjalmar Ottesen (1869–1932) ble en anerkjent distriktslege, mens Jacob Aall Ottesen (1867) ble sogneprest i Trondheim.