Som en av byens ti rikeste menn ble Olsen i 1837 innvalgt i det første bystyret og var ett av medlemmene som fikk flest stemmer. Som særlig bygningskyndig ble han valgt inn i komiteen for børsbygningen, og han ble senere medlem av styret for Børsen. Han var også medlem av byggekomiteen for kongeboligen (Slottet), og av komiteene som forberedte byens bygningslov av 1842 og spørsmålet om utvidelse av byens grenser. Videre var han med i den første gatenavnkomité for byen (med Johan Sebastian Welhaven og Christian Christoph Andreas Lange). Han var ivrig skytter og doyen (eldste medlem) for Skydeselskabet Christian Augusts Venner. Thor Olsen var også teaterinteressert og var styremedlem i selskapet som stor for oppførelsen av Christiania Theater. Som menneskevenn var han også kjent for bidrag til barnevernet.