Mellon ble uteksaminert ved Western University of Pennsylvania (nåværende University of Pittsburgh i 1873 og begynte å arbeide i farens bankselskap T. Mellon & Sons som han fikk eierskap over i 1882. Selskapet ble under ledelse av Mellon en investeringsbank som investerte i en rekke ulike bransjer innenfor olje, stål, shipping og konstruksjon. Selskapet under ledelse av Andrew W. Mellon bidro til å bygge opp store industrier innenfor områdene aluminium, silisiumkarbid og koks. Et eksempel var finansieringshjelp til Charles Martin Hall, som var grunnleggeren av Aluminum Company of America. Som følge av dette ble Mellon en av de fire rikeste i USA sammen med blant andre John D. Rockefeller og Henry Ford.