Carlucci var i perioden 1952–1956 offiser og fra 1956 til 1969 ansatt i Utenriksdepartementet. I 1961 deltok han i en CIA-operasjon i Kongo for å berge amerikansk borgere. I den biografiske filmen påstås det at han i virkeligheten var innblandet i mordet på Kongos leder Patrice Lumumba. Han arbeidet senere for Donald Rumsfeld som ledet , et embete for fattigdomsbekjempelse, og etterfulgte Rumsfeld i 1970 i dette embetet. På begynnelsen av 1970-tallet var han sekretær i administrasjonen til president Richard Nixon. I perioden 1974–1977 var han ambassadør til Portugal og i 1978–1981 visedirektør i CIA under Stansfield Turner, før han begynte i Reagan-administrasjonen. Han var forsvarsminister under president Ronald Reagan i perioden 1987–1989, etter at Caspar Weinberger måtte fratre på grunn av sin rolle i Iran-Contra-saken. Han ble betraktet som noe mindre hard overfor Sovjetunionen enn Weinberger. Han ivret samtidig for en raskere oppbygning av våpenkreftene for å fremtvinge en raskere avslutning av den kalde krigen, og dette var en linje som Reagan fulgte.