След Сараевския атентат Конрад се обявява за война срещу Сърбия, която става факт през август 1914 година. Заема длъжността началник-щаб при върховния главнокомандващ (ерцхерцог Фридрих), но на практика изпълнява неговите функции при планирането и осъществяването на стратегическите операции. Австро-унгарските сили са разпределени срещу Сърбия и Русия. Конрад съсредоточава вниманието си върху руския фронт, но първоначалните успехи там се превръщат в тежко поражение в Галицийската битка през септември 1914 година. През пролетта на 1915 година той взима реванш над руснаците с Горлицкия пробив, благодарение на помощта от германския си съюзник. През 1916 година съсредоточава усилията си срещу Италия, но вместо успех търпи нови поражения от руснаците при Настъплението на Брусилов.