Arlen Specter wuchs in Wichita und Russell auf; sein Vater war ein jüdischer Immigrant aus der Ukraine. Arlen Specter besuchte nach der High School zunächst die University of Oklahoma, danach die University of Pennsylvania mit dem Hauptfach „Internationale Beziehungen“. Seinen Abschluss erwarb er dort 1951, danach studierte er Jura an der Law School der Yale University. 1956 wurde er als Rechtsanwalt in Pennsylvania zugelassen. Er arbeitete zunächst in eigener Praxis, später als Staatsanwalt unter James Crumlish. Auf Empfehlung des damaligen Kongressabgeordneten Gerald Ford war Specter Assistent eines Mitglieds der Warren-Kommission, die den Mord an John F. Kennedy untersuchte.