Tom Horn var det femte barnet i en søskenflokk på tolv. Familien drev en gård i Missouri, og Horn ble som barn ofte slått av faren, noe som førte til at han tidlig forlot hjemmet. Han var fysisk stor for alderen, og ble derfor ofte tatt for å være eldre enn han var.