V roce 1948 stál v čele výboru, který měl posoudit reformu amerického zpravodajského systému, která se stala podkladem pro založení CIA. Po jejím oficiálním založení roku 1951 se stal nejprve zástupcem ředitele této zpravodajské služby, kterým byl Walter Bedell Smith. 26. února 1953 jej prezident Eisenhower ustanovil jejím v pořadí pátým ředitelem. CIA, pod Dullesovým vedením, byla odpovědná za mnoho důležitých operací během Studené války, podílela se např. na svržení íránského premiéra Muhammada Mosaddeka či guatemalského prezidenta Jacoba Arbenze Guzmana. Organizovala také např. špionážní přelety letadel U-2 nad územím SSSR či různé akce (např. atentáty, diverze apod.) proti režimu Fidela Castra na Kubě. Po neúspěchu invaze v Zátoce Sviní však prezident John Fitzgerald Kennedy Dullese z funkce ředitele CIA v listopadu 1961 odvolal.