Bei den Olympischen Sommerspielen 2000 in Sydney startete Kelly wieder im Zeitfahren und gewann diesmal eine Bronzemedaille. Nachdem Kelly 2001 die Ozeanienmeisterschaft über den Kilometer gewonnen hatte, belegte er 2002 bei den Weltmeisterschaften den zweiten und 2003 nochmals einen dritten Platz. 2004 startete er bei den Olympischen Sommerspielen in Athen im Zeitfahren, im Teamsprint und im Keirin und belegte zweimal den vierten Platz. Im Keirinfinale unterstützte Kelly seinen Mannschaftskameraden Ryan Bayley, der die Goldmedaille gewann, und wurde selbst Dritter.