Планирование и руководство началом Восточно-Прусской операции осуществлял лично И. В. Сталин, Василевский в это время был занят в Прибалтике. Однако, в связи с отбытием Сталина, а также заместителя начальника Генштаба А. И. Антонова на Ялтинскую конференцию, Василевский вернулся к исполнению обязанностей начальника Генштаба и заместителя наркома обороны, руководству Восточно-Прусской операцией. В ночь на 18 февраля, во время беседы со Сталиным, вернувшимся из Ялты, в ответ на предложение Сталина выехать в Восточную Пруссию для помощи командующим фронтами Василевский попросил освободить его от должности начальника Генштаба в связи с тем, что он большую часть своего времени проводит на фронте (за 34 месяца пребывания на посту начальника Генерального штаба 22 месяца провёл на фронтах). А днём 18 февраля пришло известие о гибели командующего 3-го Белорусского фронта И. Д. Черняховского. В связи с этим Сталин быстро принял решение назначить Василевского командующим 3-м Белорусским фронтом, а кроме того, ввести Василевского в состав Ставки Верховного Главнокомандования. В должности командующего фронтом Василевский руководил штурмом Кёнигсберга — операцией, ставшей хрестоматийной.