Fue formado el 26 de agosto de 1939 en Frankfurt am Main a partir del 2.º Comando del Grupo Ejércitos. Inicialmente, englobaba las tropas en el Frente Occidental alemán pero, después de la campaña de Polonia, fue reducido a comandar la mitad sur del frente occidental, supervisando la ruptura a través de la Línea Maginot en junio de 1940. Al finalizar las operaciones de la Línea Maginot en la Batalla de Francia, regresó a Alemania el 20 de abril de 1941 y bajo el nombre clave de Abschnittsstab Ostpreussen pasó a Prusia Oriental. El 21 de junio de 1941 fue renombrado Grupo de Ejércitos Norte con el inicio de la Operación Barbarroja contra la Unión Soviética.