Khi cuộc Chiến tranh thế giới thứ nhất bùng nổ, ông được lãnh chức Tướng tư lệnh của Quân đoàn Trừ bị Cận vệ, một phần thuộc biên chế của Tập đoàn quân số 2, vào ngày 2 tháng 8 năm 1914. Quân đoàn này bao gồm 3 sư đoàn và là một trong những đơn vị được đánh giá cao nhất của Đức. Dưới sự thống lĩnh của ông, Quân đoàn Trừ bị Cận vệ đã tham gia cuộc xâm lược Bỉ và đánh chiếm các pháo đài ở Namur vào ngày 23 tháng 8 năm 1914, sau khi một cuộc pháo kích dữ dội được thực hiện theo hoạch định của Gallwitz đã dã nát hệ thống pháo đài này. Tuy nhiên, cuối tháng 8, quân đoàn của ông được thuyên chuyển sang Mặt trận phía Đông để tham chiến trong biên chế của Tập đoàn quân số 8 dưới sự chỉ huy Paul von Hindenburg và Erich Ludendorff ở Đông Phổ. Trong trận hồ Masuren lần thứ nhất vào tháng 9 năm 1914, Quân đoàn Trừ bị dưới quyền Gallwitz đóng vai trò là lực lượng cánh trái của Tập đoàn quân số 8 và tham gia hợp vây Tập đoàn quân số 2 của Nga, góp phần bẻ gãy cuộc tấn công của Nga vào Đông Phổ. Sau đó, quân đoàn được đổi sang biên chế của Tập đoàn quân số 9 và tham gia các chiến dịch tấn công của Đức vào Ba Lan thuộc Nga cuối năm 1914, với các trận đánh ở sông Wisla và Łódź.