În mai 1942 s-a petrecut una dintre cele mai controversate evenimente din cariera lui Vasilevski: a doua bătălie de la Harkov, o contraofensivă eșuată care a dus la o înfrângere usturătoare a Armatei Roșii și care a fost continuată de o contraofensivă germană încununată cu succes (Operațiunea Albastru) în sud. După respingerea germanilor din fața Moscovei, moralul sovieticilor era ridicat, iar Stalin era hotărât să lanseze o nouă contraofensivă în timpul verii. Ca urmare a ordinelor lui Stalin, ofensiva spre Harkov a fost lansată pe 12 mai 1942. Când amenințarea unei încercuiri a sovieticilor a devenit evidentă, Vasilevski și Jukov au cerut permisiunea să înceapă retragerea. Stalin a refuzat să aprobe o asemnea manevră, rezultatul fiind încercuirea trupelor sovietice și totala lor anihilare. În memoriile sale, Hrușciov l-a acuzat pe Vasilevski că a fost pasiv și nedecis, dar și incapabil să-și apere punctul de vedere în fața lui Stalin în cazul acestei operațiuni eșuate. După cum scria el: "Părerea mea este că această catastrofă. . . putea fi evitată dacă Vasilevski ar fi luat poziția corespunzătoare. Putea să ia o poziție diferită... dar nu a făcut-o și, ca rezultat, după părerea mea, el a avut o contribuție la distrugerea a mii de luptători ai Armatei Roșii în campania de la Harkov. "