James Angleton var sønn av James Hugh Angleton og Carmen Mercedes Moreno. Hans foreldre traff hverandre Mexico da hans far var kavallerioffiser under general John Pershing. Etter første verdenskrig flyttet familien til Milano i Italia, og overtok de økonomisk skrantende kasseapparatsselskapet NCR. Angleton studerte så ved Malvern College i England og fra 1937 ved Yale University i USA, samtidig som han tilbragte sommerene med sin familie i Italia. Angleton påbegynte studier ved Harvard Law School men tok ingen eksamen derfra.