Som medlem av den amerikanske Mount Everest-ekspedisjonen i 1963 som ble ledet av Norman Dyhrenfurth, var han den første amerikaneren til å nå toppen av Mount Everest. Han besteg fjellet 1. mai 1963 sammen med den sherpaen Nawang Gombu, en nevø av Tenzing Norgay som hadde ledet syv ekspedisjoner til Mount Everest. Whittaker og hans gruppe av fjellklatrere gikk tom for oksygen, men klarte likevel å nå toppen. Når de var der, plantet Whittaker et amerikansk flagg på toppen av fjellet. Jim Whittaker er tvilling-broren til Lou Whittaker, en fjellfører som ofte ble feilaktig kreditert for Jims prestasjoner som fjellklatrer.