Charlton ble olympisk mester i OL 1924 i Paris. Han vant 1500 meter frisvømming med tiden 20.05,06 ny verdensrekord og nesten 35 sekunder raskere en sølvvinneren Arne Borg fra Sverige. Han kom på tredjeplass på 400 meter fri bak Johnny Weissmuller og Arne Borg og han var også med på det australske laget som tok sølv på 4 x 200 meter fri. Fire år senere, i OL 1928 i Amsterdam kom han på andreplass både på 400 og 1500 meter fri.