James Karen var sønn av de russiskfødte jødiske immigrantene Mae (født Freed) og Joseph H. Karnofsky, som var produsent og forhandler. Som ung mann ble James oppfordret til å bli skuespiller av den amerikanske kongressmannen Daniel J. Flood, som var en amatørutøver selv, og rekrutterte ham til en produksjon på Little Theatre i Wilkes-Barre. Han gikk på Neighborhood Playhouse School of the Theatre i New York. Hans store gjennombrudd kom da han ble bedt om å delta på den opprinnelige Broadway-produksjonen av .