Olavi Virran isä oli vuonna 1891 syntynyt sysmäläisen suutarin poika Juho Oskari Ilmén. Hänen äitinsä oli vuonna 1889 syntynyt, Karjalankannaksen Koivistolta Helsinkiin muuttanut Ida Grusander. He solmivat avioliiton lokakuussa 1914, ja Olavi oli ainoa lapsi. Virta kastettiin nimellä Oskari Olavi Ilmén, mutta Juho Ilmén suomensi sukunimen Virraksi vuonna 1926. Sisällisodan jälkeen Juho Ilmén tuomittiin puoleksi vuodeksi vankeuteen, jonka hän suoritti Hennalan vankileirillä. Juho Ilménille vankileirikokemukset olivat niin traumaattisia, että hän koki hermoromahduksen ja vapaaksi päästyään alkoi käyttää alkoholia itsetuhoisesti. Olavin ollessa 11-vuotias hänen vanhempansa erosivat.