Jacob Stenersen Worm-Müller vokste opp på Bestum i Ullern som sønn av professor Jacob Worm-Müller (1834–1889) og kona Aurora (1855–1926). Han var bare fem år gammel da hans far døde. Han tok examen artium 1902 på Aars og Voss skole. Deretter hadde han militærtjeneste, han ble vernepliktig offiser 1903 og var i tjeneste 1905 som NK ved en mitraljøseavdeling.