Wheeler ble født i småbyen Malone i delstaten New York og utdannet seg innen jus. I perioden 1846–1849 praktiserte han som føderal statsadvokat i Franklin County. Han gikk over i lokalpolitikken i 1851, og senere rikpolitikken, hvor han satt i Kongressen i fire perioder.