Im Januar 1945 wurde die 3. Weißrussische Front in der Schlacht um Ostpreußen eingesetzt und trat zum Vorstoß auf Königsberg an. Da die Truppen Tschernjachowskis den um die deutschen Truppen gebildeten Kessel im Süden und Osten abriegelten, wurde er selbst zum "Oberbefehlshaber in Ostpreußen" ernannt. Am 17. Februar 1945 befand sich Tschernjachowski in einem Willys-Jeep auf dem Weg zu einem Treffen mit dem Befehlshaber der 3. Armee im vorderen Frontgebiet in Ostpreußen. Dabei schlug in der Nähe der Stadt Mehlsack eine deutsche Granate nahe dem Fahrzeug ein. Während das Fahrzeug kaum beschädigt und die anderen vier Insassen unverletzt blieben, erlitt Tschernjachowski eine Splitterverletzung, der er am folgenden Tag erlag. Seinen Posten übernahm der bisherige Chef des Generalstabs Marschall Alexander Wassilewski.