Jervell ble født i Fauske og tilbrakte sine første syv år ved St Jørgen hospital i Bergen blant byens spedalske. Familien flyttet så til Stavanger der faren hans ble domprost. I søskenflokken på ni var Jacob Jervell den faren valgte til å hjelpe seg i menighetsarbeidet. Gutten ble sendt til Stavangers fattige hjem med konvolutter med penger. Han var elev ved Stavanger katedralskole.