Hardy giftet seg med Sarah Ward i 1999, men ble skilt i 2004. Han har en sønn, Louis Thomas, med sin tidligere kjæreste Rachael Speed. I 2008 møtte han skuespilleren Charlotte Riley da de jobbet med og sammen. I 2010 fridde Hardy til Riley.