Karp gikk på Harvard University hvor han tok bachelorgraden i 1955, mastergraden i 1956 og doktorgraden i anvendt matematikk i 1959. Deretter jobbet han på Thomas J. Watson Research Center hos IBM. I 1968 ble han professor i informatikk, matematikk og ved University of California, Berkeley. Siden det har han vært i Berkeley, med unntak av fire år hvor han arbeidet som professor ved University of Washington. Karp mottok også Benjamin Franklin-medaljen i 2004 i informatikk og kognitiv vitenskap for bidragene sine innen kompleksitetsteori.