Kelly ble olympisk mester to ganger i roing under OL 1920 i Antwerpen. Han vant både single- og dobbeltsculler. Fire år senere, under OL 1924 i Paris vant han sin tredje olympiske tittel i roing, han vant dobbeltsculler også denne gangen sammen med Paul Costello.