Hardy ble født i en landsby i sognet Stinsford, øst for Dorchester i Dorset. Faren hans (Thomas) arbeidet som steinhugger og lokal byggmester. Faren var ivrig amatørmusiker. Moren hans, Jemima, var belest og underviste Thomas frem til han da han ble åtte år og begynte på skole i Bockhampton.