Jaruzelski härstammade från en adlig familj – hans far, Władysław Mieczysław Jaruzelski, deltog i polsk-ryska kriget 1920, hans farfar, Wojciech Jaruzelski senior, i januariupproret 1863–1864 mot den ryska ockupationen. Vid andra världskrigets början flydde familjen till Litauen den 15 september 1939 och efter det sovjetiska övertagandet av östra Polen blev han och hans familj deporterade till Sibirien. Där fick han arbeta i skogen och skadade synen (därav de mörka glasögonen). I Sibirien efter faderns död mönstrade han och blev skolad (fick en officersutbildning) av de ryska militärerna.