Penza ble grunnlagt i 1663 som en grensepost på det som da var Russlands grense mot sørøst. Byen er oppkalt etter elva den opprinnelig ble bygget ved. Ettersom byen opprinnelig lå i et grenseland ble de fleste husene bygget av tre og byen utviklet uten noen overliggende plan. På 1700-tallet ble Penza et viktig handelssenter.