1928 in Amsterdam gab Harper dann sein Olympiadebüt als Marathonläufer. Seine Zeit von 2:45:44 h reichte jedoch nur für einen Achtungserfolg: Er wurde 22. von insgesamt 69 Teilnehmern. Erst acht Jahre später, 1936 in Berlin, sollte dem inzwischen 34-jährigen endlich der Vorstoß in die Medaillenränge gelingen. Das Rennen hatte mit dem koreanischstämmigen Japaner Son Kitei, der die Goldmedaille in 2:29:19,2 h gewann, zwar einen überlegenen Sieger, aber Harper konnte sich gegen den zweiten koreanischstämmigen Japaner Nan Shōryū durchsetzen und gewann in 2:31:23,2 h die Silbermedaille.