Tillerson avla eksamen som byggingeniør i 1975 ved University of Texas. Han begynte deretter i Exxon Mobil i 1975 som ingeniør. Han gjorde karrière i selskapet, og har hatt en rekke forskjellige sjefsstillinger i selskapet både i USA og internasjonalt. I 2006 etterfulgte han Lee R. Raymond, i stillingen som direktør og toppleder.