I 1968 vant han republikanernes nominasjon til guvernørkandidat foran Otis R. Bowen og Earl Butz. Samme år ble Whitcomb valgt til guvernør med 52,7 % av stemmene. I løpet av hans guvernørperiode ble republikanerne delt mellom en urban og rural fløy. Whitcomb ble assosiert med den rurale fløyen, som mistet innflytelse, mens Bowen spilte en ledende rolle i den urbane. Til og med 1972 var guvernøren i Indiana begrenset til én valgperiode, og Bowen ble derfor nominert av republikanerne til Whitcombs etterfølger foran guvernørvalget dette året.