Little vant en olympisk sølvmedalje i roing under OL 1924 i Paris. Han var med på den canadiske åtteren som kom på andreplass bak USA. Deltakerne på den canadiske åtteren besto av Arthur Bell, Robert Hunter, William Langford, Harold Little, John Smith, Warren Snyder, Norman Taylor, William Wallace og Ivor Campbell som var styrmann.