Plánovanie a velenie Východopruskej operácie, ktoré sprvu riadil sám Stalin Vasilevskij prebral v období Jaltskej konferencie spolu s povinnosťami náčelníka Generálneho štábu. 18. februára 1945 bol na vlastnú žiadosť prevelený k 3. bieloruskému frontu. Ako jeho veliteľ vyjednal kapituláciu nemeckej posádky. Jej veliteľ Otto Lasch neskôr vo svojich pamätiach obvinil Vasilievského z nesplnenia podmienok kapitulácie. Každopádne za dobytie Königsbergu mu bol udelený druhý "Rad Víťazstva".