Orton studerte først ved University of Toronto, før han i 1893 begynte ved University of Pennsylvania. Allerede på dette tidspunktet ble han regnet blant Nordamerikas fremste mellomdistanseløpere. Han vant kanadiske, amerikanske og britiske mestertitler på distansene 1 mile, 2 miles og i hinderløp.