ヴィトルトの祖父ユゼフはベラルーシ西部のグロドノ地方に出自をもつポーランド貴族（シュラフタ）の家系で小地主階級だったが、ポーランド愛国運動に傾倒して1863年から1864年にかけての1月蜂起でロシア帝国からの分離派を支持した。このため蜂起が分離派の敗北に終わった際に反乱を支持した他の貴族たちと同じくその地位を剥奪され、リダ近郊の不動産も政府に没収、自らも7年間のシベリア流刑に処された。ユゼフの釈放後、一家はロシア帝国当局によってカレリアに強制移住させられ、以後30年間カレリア以外で生活することが禁じられた。また法律によりロシア政府関連以外で職を得ることも認められなかった。