Nach dem Abschluss des Studiums begann J. Edgar Hoover 1917 für das US-Justizministerium zu arbeiten. Im Zusammenhang mit der russischen Revolution 1917 wurde er bald Leiter der Sektion zur Registrierung feindlicher Ausländer. 1919 wurde er unter Alexander Mitchell Palmer Leiter der neu eingerichteten "General Intelligence Division", in der er sich durch eine Forcierung der Politik der „harten Hand“, unter anderem der von ihm angeordneten Deportation Emma Goldmans und Alexander Berkmans, schnell den Ruf eines Antikommunisten erwarb. Zusammen mit Palmer organisierte Hoover auf dem Höhepunkt der Roten Angst ("Red Scare") im Januar 1920 die größte Massenverhaftung in der US-Geschichte, die "Palmer Raids", bei denen etwa 10.000 mutmaßliche Mitglieder und Sympathisanten der Kommunistischen Partei der USA inhaftiert wurden. Die breite US-amerikanische Öffentlichkeit, der die Verdächtigen in sog. perp walks präsentiert wurden, beurteilte diese Verhaftungen damals zunächst positiv.