Im Jahr 1903 wurde Hardy Vorstandsmitglied des Deutschen Reichsausschuß für Leibesübungen. Er selbst spendete 5000 RM für die deutsche Olympiamannschaft. Bei den Olympischen Sommerspielen 1904 in St. Louis nahm er als einer von insgesamt 22 Athleten für das Deutsche Reich an der Tenniskonkurrenz teil. Dort war er der einzige Spieler, der nicht aus den Vereinigten Staaten kam. Sowohl im Herreneinzel als auch im Herrendoppel schied er jeweils ohne einen Sieg aus. im Einzel unterlag er dem späteren Olympiasieger Beals Wright, nachdem er in der Runde zuvor von einem Freilos profitierte. Im Doppel verlor er mit seinem US-amerikanischen Partner Paul Gleeson sein Erstrundenspiel. Für seine Ausstellung afrikanischer Exponate wurde er bei der Louisiana Purchase Exposition, die zur gleichen Zeit wie die Olympischen Spiele stattfand, mit einer Goldmedaille ausgezeichnet. Von 1913 bis 1923 übernahm Hardy für den Deutschen Reichsausschuß die Funktion des Schatzmeisters. Seine Frau "Louise Oppenheim" (1896–1982) gehörte zur berühmte jüdischen Familie Oppenheim.