Hardy ble født i Hammersmith i London. Han er enebarn, sønn av Anne (født Barrett) og Edward «Chips» Hardy. Han vokste opp i East Sheen. Moren hans er artist og maler og hun har en irsk-katolsk familie. Faren hans er romanforfatter. Hardy studerte på Reed's School og Tower House School. Senere begynte han på Richmond Drama School og Drama Centre London.