En mayo de 1944, Tolbujin fue transferido al mando del Tercer Frente Ucraniano. En agosto de 1944, participó en la 2.ª Ofensiva de Jassy-Kishinev. Las tropas del frente, junto con las tropas del 2º Frente Ucraniano (Rodión Malinovski), derrotaron al Grupo de Ejércitos Ucrania Sur, hundiendo todo el flanco sur del frente. El día 23 de agosto, un golpe de Estado encabezado por el rey Miguel deponía en Bucarest a Ion Antonescu y se proclamaba la rendición incondicional de Rumania a los Aliados; el monarca ordenó a las unidades rumanas dejar de combatir a los soviéticos.​ El cambio de bando rumano facilitó el cruce soviético del Danubio y de los Cárpatos. El día 26 las autoridades rumanas declaraban la guerra a Alemania. Por la derrota de las fuerzas alemanas en esta operación, el 12 de septiembre de 1944, Tolbujin recibió el rango militar de Mariscal de la Unión Soviética.