Ytteborg var, foruten å være en av byens 24 rikeste menn i 1842, også salmakermester, trelasthandler, brennevinsbrenner og bryggerieier for Ytteborgs Bryggeri som senere ble Foss Bryggeri, som han drev 1845 – 1846. Ytteborg var forstander ved Prinds Christian Augusts Minde, Mangelsgården, som var arbeidshus for fattiglemmer. Herfra sendte han folk for å arbeide i blant annet sitt eget brenneri. Han var en tid viseordfører i kommunestyret, valgt 14. mars 1837. Ytteborg var stifter av Christiania Haandværkerforening i 1838, og ved det såkalte håndverkervalget i 1850 ble den første håndverker valgt inn på Stortinget, der han satt i én periode – tre år den gangen – fra 1851 til 1853. Han ble kalt håndverksfyrsten for sin ærgjerrighet på penger, offentlige verv og status. Ytteborg ble aldri fullt akseptert blant byens sosiale elite, «de kondisjonerte». Han var en tid branndirektør, som var et ærefullt verv blant byens rikeste, og mottok for dette en liten godtgjørelse fra bykassen.