Ab 1926 begann er, für die Gendarmerie in Krozingen als Wachtmeister zu arbeiten. In St. Märgen wurde er zum Obergendarmerie-Wachtmeister befördert. Am 1. Mai 1933 trat er der NSDAP bei (Mitgliedsnummer 2.835.521). Daraufhin wurde er am 1. Juni 1934 zur Gestapo abgeordnet, wo er bereits 17 Tage später zum Leiter der Gestapo in Kehl ernannt wurde. 1937 trat er unter der Mitgliedsnummer 307.930 der SS bei. er wurde direkt zum SS-Hauptsturmführer ernannt. Im November 1938 wurde er Kriminalinspektor. In diesen beiden Funktionen war er federführend an der Durchführung der Reichspogromnacht in Kehl beteiligt, bei der die Synagoge von Kehl verwüstet wurde. Gehrum ließ auch die Wohnungen von Juden stürmen und verwüsten. Die Männer wurden in die Stadthalle verschleppt, wo sie gefoltert und misshandelt wurden, bis sie zum Bahnhof getrieben wurden, wo der direkte Abtransport ins KZ Dachau erfolgte.