Absolwent nauk rolnych, uzyskał stopień doktora nauk rolnych i leśnych. Pracował jako nauczyciel akademicki, a także w organach administracji rolnej i wojskowej. Prowadził też własne gospodarstwo rolne. Po wojnie kontynuacyjnej z ZSRR stał się jednym z przywódców politycznych tych mieszkańców Karelii, którzy po przejęciu tego terytorium przez ZSRR zostali ewakuowani na terytorium Finlandii. Johannes Virolainen był znany jako polityk opowiadający się za ponownym przyłączeniem tych ziem do jego kraju, jednak nie prezentował tego jako oficjalnego stanowiska politycznego, co umożliwiło utrzymanie poprawnych stosunków neutralnej Finlandii z ZSRR.