Jaruzelski stammet fra en familie som tilhørte den polske lavadel og vokste opp i nærheten av Wysokie i det som i dag er den nordøstlige delen av Polen. Han tilbragte skolegangen i Warszawa, ved kostskolen Bielany drevet av marianerbrødrene, en katolsk skoleorden. Etter den tyske innmarsj i Polen i september 1939 flyktet familien til Litauen, og bodde i Vinkšnupiai nær Vilkaviškis. Få måneder etter ankomsten ble Litauen og de øvrige baltiske land innlemmet i Sovjetunionen. I Litauen ble de tatt til fange av sovjetiske styrker, og familien ble i juni 1941 deportert til Altajfjellene i den asiatiske delen av Sovjetunionen. Både Wojciech og faren hans ble der satt til tvangsarbeid i skogene, noe faren ikke overlevde - han fikk dysenteri. Wojciech skadet synet under tvangsarbeidet. Det grelle sollyset skadet hornhinnene - derav de mørke brillene. Hans mor og søster overlevde krigen (moren døde i 1966).