Tompkins was gouverneur van zijn thuisstaat New York van 1807 tot 1817. In deze functie bevorderde hij het onderwijs. Tijdens de Oorlog van 1812 tegen Groot-Brittannië was hij verantwoordelijk voor de verdediging van de staat. Toen er geen geld genoeg was om militaire expedities behoorlijk uit te rusten, legde gouverneur Tompkins het tekort bij, met zijn eigendommen als onderpand. Na de oorlog betaalde noch de staat noch het leger hun schulden terug. Daardoor namen schuldeisers Tompkins' persoonlijk fortuin in beslag. Dit duurde tot 1824 toen het parlement eindelijk besloot om Tompkins te vergoeden.