Nach Kriegsausbruch 1939 wurde er zum kanadischen Hauptquartier in England versetzt, um die Ankunft kanadischer Truppen vorzubereiten. Im Juli 1940 wurde er nach Kanada zurückgerufen, wo er zunächst zum stellvertretenden Chef und dann zum Chef des Generalstabs ernannt wurde. Im Dezember 1941 übernahm er den Befehl über das in England stationierte I. Kanadische Korps, das 1942 in Teilen am Angriff auf Dieppe teilnahm. Ab Oktober 1943 befehligte er das Korps kurzzeitig in Italien, wurde aber im März 1944 in Vorbereitung auf die Operation Overlord nach England zurückgerufen, um den Befehl über die 1. Kanadische Armee zu übernehmen. Diese wurde im Juli in Frankreich aktiviert und war an der Schließung des Kessels von Falaise im August entscheidend beteiligt. Im September gab er krankheitsbedingt sein Kommando an Guy Simonds ab, führte die Armee dann wieder in der Operation Veritable und bei den Schlussoperationen in den Niederlanden und in Ostfriesland. 1946 schied Crerar aus dem Militärdienst aus.