Charlton ble olympisk mester i roing under Sommer-OL 1956 i Melbourne. Han var med på den amerikanske åtteren som vant konkurransen foran Canada og Australia. De andre roerne var Robert Morey, David Wight, John Cooke, Donald Beer, Caldwell Esselstyn, Charles Grimes, Richard Wailes og William Becklean som var styrmann.