În timpul Operațiunii Bagration, contraofensiva generală din Belarus, Vasilevski a coordonat ofensiva Fronturilor Baltice și Belarus. Când forțele sovietice au intrat în țările baltice, Vasilevski și-a asumat responsabilitate pentru toate fronturile baltice. Pe 29 iulie 1944, el a primit titlul de Erou al Uniunii Sovietice, ca recunoaștere a succeselor lui militare. În februarie 1945, Vasilevski a fost numit din nou la comanda Frontului al 3-lea belarus, în fruntea căruia a luptat în Operațiunea Prusia Răsăriteană, lăsând postul de șef al Marelui Stat Major lui Alexei Antonov. În funcția de comandant al frontului, Vasilevski a condus operațiunile din Prusia Răsăriteană și a organizat atacurile asupra orașelor Königsberg și Pillau. Tot el a fost cel care a negociat termenii capitulării garnizoanei din Königsberg. După război, comandantul german din Königsberg a pretins că Vasilevsky nu a respectat garanțiile date naziștilor în timpul negocierilor. Este adevărat că Vasilevski a promis că soldații germani nu vor fi executați, că prizonierii, civilii și răniții vor fi tratați decent, și că prizonierii vor fi trimiși în Germania la sfârșitul războiului. În schimb, comandantul german al Königsbergului a rămas prizonier timp de 10 ani și s-a reîntors în patrie în 1955, odată cu mulți alți prizonieri germani, soldați și ofițeri, iar întreaga populație civilă a Prusiei Orientale a fost evacuată. Pentru succesul de la Königsberg, Vasilevski a primit un al doilea Ordin al Victoriei.