Hoffa ble født i Brazil i Indiana som sønn av en fattig gruvearbeider. Faren døde da han var ung, og Hoffa kunne ikke fortsette på skolen. Han flyttet til Michigan for å arbeide i et varelager. Han var en naturlig leder og var opptatt av den dårlige behandlingen av arbeidere. I 1933, 20 år gammel, var han med på å organisere sin første streik blant arbeiderne som lastet og losset matvarer fra lastebilene.