Von Mai 1944 bis Juni 1945 war Tolbuchin Oberbefehlshaber der 3. Ukrainischen Front, welche im August 1944 in der Operation Jassy-Kischinew in Bessarabien (heute Moldawien) die Heeresgruppe Süd zerschlug und anschließend die Besetzung Bulgariens durchführte. Am 12. September 1944 wurde Tolbuchin für seine militärischen Erfolge am Balkan zum Marschall der Sowjetunion ernannt. Am 28. September 1944 begann die 3. Ukrainische Front in Zusammenarbeit mit der Volksbefreiungsarmee Jugoslawiens mit der Durchführung der Belgrader Operation, wobei Belgrad von der deutschen Besatzung befreit wurde. Im Januar 1945 wurde seine Armeen beim Vorstoß in Danubien anfangs bei Stuhlweißenburg zurückgedrängt, hielten dann aber im März 1945 der deutschen Plattenseeoffensive erfolgreich stand und erreichten infolge der Wiener Operation am 13. April die Befreiung der österreichischen Hauptstadt Wien. Am 8. Mai 1945 trafen seine Truppen in Erlauf in Niederösterreich auf US-amerikanische Truppen.