Jaroslav Oliverius se narodil v chudší dělnické žižkovské rodině. Do první třídy nastoupil v den vypuknutí druhé světové války. Jeho otec během války ztratil práci a na nějaký čas odešel pracovat do Německa. Své dvanácté narozeniny Oliverius prožil za dramatických okolností pražského povstání a osvobozování Prahy. Po absolvování gymnázia začal roku 1951 studovat arabistiku a hebraistiku na Filozofické fakultě Univerzity Karlovy, kde jej vyučoval například Rudolf Růžička či Stanislav Segert a mezi jeho spolužáky patřil mj. Vladimír Sadek.