Samtidig tok tyskerne over kommandoen over felttoget mot Serbia, og Conrad ble i realiteten avsatt. I stedet ledet han Trentino-offensiven mot Italia på den italienske fronten i 1916, men dette ble en fiasko, og samme høst tok Tyskland over kommandoen på alle frontavsnitt. Selv om han fra mars 1917 ble utnevnt til generalfeltmarskalk, hadde Conrad kun kommandoen over frontavsnittet ved Trentino fram til han ble avsatt ved utgangen av samme år av den nye keiseren Karl I av Østerrike-Ungarn som gikk inn for fredssamtaler med Ententemaktene. Etter nederlagene ved den italienske fronten våren 1918, ble han 14. juli samme år avsatt, og utnevnt til greve som takk for hans fortjenester.