Następnie Kahanamoku z łatwością zakwalifikował się do amerykańskiej drużyny pływackiej na igrzyska olimpijskie. Na igrzyskach w Sztokholmie w 1912 roku zdobył złoty medal na dystansie 100 m stylem dowolnym i srebrny w sztafecie kraulowej 4 × 200 m. Na igrzyskach w Antwerpii w 1920 r. zdobył dwa złote medale w stylu dowolnym na 100 m (pokonał wtedy Hawajczyka Puę Kealohę) i w sztafecie 4 × 200 m, brał także udział w turnieju piłki wodnej. Cztery lata później, podczas igrzysk olimpijskich w Paryżu w konkurencji 100 m kraulem wywalczył srebro. Wygrał wtedy Johnny Weissmuller, a brąz zdobył brat Duke’a Samuel Kahanamoku.