Hardy ble olympisk mester i roing under OL 1948 i London. Han var med på den amerikanske åtteren som vant foran Storbritannia og Norge. Roøvelsene ble gjennomført i perioden 5. til 8. august 1948 på Themsen. Mannskapet på den amerikanske båten var roerne; brødrene David og Ian Turner, James Hardy, George Ahlgren, Lloyd Butler, David Brown, Justus Smith, John Stack og Ralph Purchase som var styrmann.