Nach dem Besuch der High School in seiner Heimatstadt Petersburg schrieb sich Gerow am Virginia Military Institute in Lexington ein. Seinem Abschluss als Klassenbester folgte 1911 die Beförderung zum Leutnant bei der Infanterie. 1914 nahm er an der Besetzung von Veracruz teil. 1916 diente Gerow in Texas und beteiligte sich an der Mexikanischen Expedition unter John J. Pershing. Er wurde 1916 zum Oberleutnant und im folgenden Jahr zum Hauptmann befördert. Anfang 1918 kam er mit den American Expeditionary Forces nach Frankreich, wo er im temporären Rang eines Oberstleutnants im Stab des United States Army Signal Corps diente. Für seine Dienste wurde er mit der Distinguished Service Medal und der Aufnahme in die französische Ehrenlegion ausgezeichnet.