Het gouvernement werd in 1779 opgericht als het onderkoninkrijk Tambov. In 1796 werd de naam gewijzigd in het gouvernement Tambov. Tijdens de Tambov-opstand in 1920 vormde een deel van het gebied van het gouvernement een eigen republiek, de republiek Tambov. Deze republiek werd door het Rode Leger ingenomen. In 1926 werd het noordelijke gedeelte in de gouvernementen Penza en Rjazan opgesplitst. Na administratieve hervormingen in 1928 werden de gouvernementen opgedeeld in drie okroegen Tambov, Kozlov en Borisloglebesk.