Од марта 1943. године Толбухин је командант Јужног фронта, затим командант Четвртог украјинског фронта, а средином 1944. године постављен је за команданта Трећег украјинског фронта. Јединице под његовом командом ослободиле су: Таганрог, Доњецк, Ростовску област, Никопољ, Криви Рог, Крим и Севастопољ, и до средине августа 1944. избиле на границу Румуније. Пошто су, у сарадњи с јединицама Другог украјинског фронта, у Јашко-кишињевској операцији разбиле немачко-румунске снаге, јединице Трећег украјинског фронта окупирале су Бугарску и, у сарадњи с јединицама Народноослободилачке војске Југославије, учествовале у ослобођењу Београда и дела Србије. Крајем 1944. године, јединице 3. украјинског фронта, под командом Толбухина, учествовале су у ослобођењу Будимпеште, а почетком 1945. године у заузимању Беча. Дана 8. маја 1945. његове трупе су се сусреле са америчким трупама у Доњој Аустрији.