I løpet av den første verdenskrig fant Hoover seg arbeid i USAs justisdepartement. Han viste talent for arbeidet og var snart leder for utlendingskontoret. I 1919 ble han leder for den nye General Intelligence Division of the Justice Department. Deretter, i 1921, ble han med i Bureau of Investigation som nestleder, og i 1924 ble han utnevnt til fungerende direktør. 10. mai 1924 ble han utnevnt til direktør av president Calvin Coolidge og ble slik den sjette direktøren for byrået. Dette skjedde rett etter president Warren Hardings død og som en respons på beskyldninger om at den tidligere direktøren, William J. Burns, var involvert i de økonomiske skandalene rundt Harding-administrasjonen. Da Hoover tok over Bureau of Investigation hadde organisasjonen rundt 650 ansatte, derav 441 spesialagenter.