I motsetning til sine fem søsken var lille James en uregjerlig guttunge med et voldsomt temperament og et ekstremt konkurranseinstinkt. Under sin utdannelse på Wellington College valgte han å bli med i skolens orkester for å unngå studier på kveldstid. Han lærte å spille trompet, og dette mestret han snart på en slik måte at han ble plukket ut for å spille orkesterets soloer. Han opptrådte ofte i venners bryllup og andre arrangement med trompeten resten av livet. James var alltid svært glad i dyr, og i barndommen drev han med oppdrett av undulater, en hobby han tok opp igjen etter at Formel 1-karrieren var over. Hans beste venn i mange år var schæferen Oscar, som han hadde et helt spesielt forhold til. I flere år, også på høyden av karrieren, var alkohol, lettere narkotiske stoffer og 40 sigaretter om dagen normalt konsum. Hans favorittband var Rolling Stones. James var ekstremt nervøs før ethvert race, og ble ofte observert i situasjoner der han stod og kastet opp like før løpene startet. Han møtte ofte opp barføtt og med utslitte jeans og T-skjorter i offisielle (inkludert kongelige) mottakelser. En av James’ beste venner var Barry Sheene, verdensmester i motorsykkelkjøring på bane. James var ekstremt svak for kvinner, og de for ham. Hans første ekteskap var med Susan i 1974, en fotomodell han møtte i Spania. Mindre enn et år etter bryllupet kom bruddet i forholdet, da Susan møtte den britiske skuespilleren Richard Burton og forlot James, en historie som både engelske og internasjonale aviser fråtset i. Kvinnehistoriene ble etter hvert utallige, og hans andre ekteskap endte også med skilsmisse etter få år. Men dette ekteskapet ga ham også sønnene Tom og Freddie, som han var en utrolig stolt og god far for. James var en sammensatt og motstridende person, beskrevet som en gåte selv for sin nærmeste familie og sine venner. Humørsvingningene var store, og spesielt etter at Formel 1-karrieren var over ble James et offer for depresjoner som plaget ham i mange år. Hans forholdsvis korte karriere i Formel 1 bidro til at medienes søkelys ble rettet mot denne sporten, og den store populariteten Formel 1 har oppnådd senere skyldes i stor grad denne fargerike engelskmannen. James Hunt tok aldri seg selv for høytidelig, men var i all enkelthet glad i livet og sørget for å leve det til det fulle.