Karger politiske karriere begynte mens han var ansatt hos Dolphin Group i 1977. Selv om han ikke har stilt til valg til noe offentlig verv, har Karger jobbet under ni presidentvalg og han fungerte som en seniorkonsulent under kampanjene til presidentene Ronald Reagan, George H.W. Bush og Gerald Ford. Karger var partner i Dolphin Group, en kampanje i California som ble drevet av et konsulentfirma. Han pensjonerte seg etter 27 år og har siden jobbet som aktivist for homofiles rettigheter.