Schon vor Kriegsausbruch stand Jagow dem Schlieffen-Plan skeptisch gegenüber und war gegen einen deutschen Einmarsch in das neutrale Belgien, da dies den britischen Kriegsbeitritt zur Folge haben musste. Doch der Generalstabschef Helmuth von Moltke lehnte eine Revision des Planes ab. Als nach dem Rückzug während der Ersten Schlacht an der Marne Moltke als Generalstabschef entlassen wurde, schlug er den Ententemächten Frieden vor; diese lehnten jedoch ab. Jagow sprach sich gegen die Pläne von Tirpitz' aus, einen uneingeschränkten U-Boot-Krieg zu führen, da dies einen Eintritt der USA in den Krieg auf Seiten der Entente bedeuten würde. Daraufhin wurde er am 22. November 1916 aus seinem Amt entlassen und durch Arthur Zimmermann ersetzt.