Carlucci ble født av foreldre av italiensk herkomst. Han ble uteksaminert ved Princeton University i 1952 hvor han var i samme klasse som Donald Rumsfeld. Han studerte i perioden 1954–1955 ved Harvard Business School.