Le , il est nommé à la tête de la Direction des services de l'Armistice ; de l'été 1940 à 1941, Koeltz est à Vichy. Il passe général de corps d'armée le . Le , il est nommé commandant de la région militaire à Alger, au sein des forces françaises d'Afrique du Nord commandées par le général Juin. Le , alors que les forces américaines débarquent en Afrique du Nord, Koeltz, qui refuse de rejoindre les Alliés, est mis aux arrêts pendant la nuit par le colonel Jousse, le chef du de son état-major. Il est libéré après quelques heures, pour participer dans la soirée aux négociations franco-américaines : le cessez-le-feu est signé le à .