Etter opphevelsen av de såkalte Sagbruksprivilegiene vokste det frem en stor sagbruksindustri i Fredrikstad basert på dampsager. Langs Glomma mellom Fredrikstad og Sarpsborg ble det anlagt en rekke sagbruk og byen ble en av de raskest voksende i landet. Senere vokste det også opp en stor teglverksindustri og mot 1900-tallet ble kjemisk industri og skipsbyggning også store. Denne veksten skjedde derimot i forstaden, og Gamlebyen ble mer og mer en sovende bydel. Den militære aktiviteten ble oppretteholdt, men svært redusert etter unionen med Sverige i 1814. I 1903 ble festningen nedlagt som aktivt festningsverk, og den militære tilstedeværelsen ble enda mindre. Den kommunale administrasjon med Rådhuset og politi holdt fremdeles til en god stund i Gamlebyen, men mot slutten av 1800- og inn på 1900-tallet ble også det administrative tyngdepunktet i byen flyttet over elva til Vestsiden.