Julius Middelthuns far var stempelskjærer ved Den Kongelige Mynt på Kongsberg. Med unntak av de første barneårene som han beskrev som svært lykkelige, hadde Julius Olavus Middelthun en vanskelig oppvekst og ungdomstid. Som barn opplevde han at begge foreldrene døde med kort mellomrom. Han mistet dessuten kontakten med søsknene da alle ble satt bort til ulike fosterhjem. Etter konfirmasjonen forlot han Kongsberg og dro først til Christiania. En uventet arv fra sin fosterfars søster sikret ham i de påfølgende årene imidlertid en viss økonomisk frihet.