Nel giugno 1941, la città fu conquistata dai tedeschi. Nella città vecchia, vennero creati due ghetti per la numerosa popolazione ebraica, che prima della guerra contava oltre 60.000 persone. Gli abitanti del più piccolo furono assassinanti o deportati già nell'ottobre del 1941. Il secondo ghetto sopravvisse fino al 1943, anche se la sua popolazione venne regolarmente decimata per mezzo delle cosiddette "Aktionen". Una rivolta degli abitanti del Ghetto di Vilnius, fallita il 1º settembre 1943, fu seguita dalla definitiva distruzione dello stesso. Nel complesso, circa il 95% della locale popolazione ebraica fu assassinata. Gli ebrei rappresentano la stragrande maggioranze delle 100.000 vittime delle esecuzioni di massa a Paneriai, circa 10 km ad ovest del centro della Città Vecchia. Tra le vittime ci furono anche circa 30.000 polacchi: prigionieri di guerra, intellettuali e membri della resistenza polacca. Nel luglio 1944, l"'Armia Krajowa" polacca ed in seguito l'Armata Rossa conquistarono Vilnius, che fu subito annessa all'Unione Sovietica come capitale della restaurata Repubblica Socialista Sovietica Lituana.