Virtanen varttui nykyisin Lohjaan kuuluvalla Pusulan Arimaalla. Lapsuutta varjosti isän kuolema kansalaissodan seurauksena vuonna 1918. Vuonna 1936 Virtanen muutti Helsinkiin tavoitteenaan muusikon, puusepän tai veturinkuljettajan ura. Sota kuitenkin muutti suunnitelmat. Talvisodassa 1939–1940 Virtanen toimi ase- ja ammusaliupseerina Karjalankannaksella, kunnes haavoittui vaikeasti käteen.