Hoover ble født første nyttårsdag i 1895 i Washington, D.C. av Annie Scheitlin og Dickerson Naylor Hoover sr. Han vokste opp i Eastern Market-delen av byen. Lite vites om hans tidlige år; hans fødselsattest ble ikke arkivert før 1938. Det lille man vet kan spores til en enslig profil skrevet av journalisten Jack Alexander i 1937. Hoover ble utdannet ved George Washington University og fullførte sin juristutdannelse i 1917. I løpet av sin studietid arbeidet han ved biblioteket i Kongressen og ble også medlem av Kappa Alpha Order. Mens han studerte jus ble han interessert i karrieren til Anthony Comstock, som var postinspektør i New York. Comstock førte en kamp mot svindel og sedelighetsforbrytelser (som innbefattet både pornografi og informasjon om prevensjon) en generasjon tidligere. Det er antatt at Hoover studerte Comstocks metoder og søkte å oppnå samme rykte som Comstock; nådeløs i sin kamp mot kriminelle og en hang til å overse tidvise brudd på juridiske prosedyrer i denne kampen.