Gubernia a fost înființată în 1796, atunci când a fost reorganizat Viceregatul Tambov ("namestnicestvo"), care fusese instituit în 1779. Granițele au rămas neschimbate până în 1926, când jumătatea de nord a guberniei a fost împărțit între alte două gubernii din Penza și Reazan. Ca urmare a reformei administrative din 1928 Gubernia Tambov a fost împărțită în trei okruguri: Okrugul Tambov, Okrugul Kozlov și Okrugul Borisoglebsk. În 1937 o parte substanțială a guberniei a fost transformată în regiunea Tambov, iar cealaltă a intrat în componența regiunii Voronej. În perioada răscoalei din Tambov din 1920-1922 o parte a guberniei a devenit o regiune separatistă, Republica Tambov, avându-l ca șef de stat pe Șendiapin. Mai târziu, republica a fost copleșită de forțele Armatei Roșii (vezi articolul principal: Răscoala din Tambov).