Før han ble utnevnt til amtmann, arbeidet Skjoldborg blant annet som kopist (1854), byråsjef (1865) og ekspedisjonssjef (1869) i Indredepartementet, og bodde da i Christiania. Som pensjonist flytta han tilbake til hovedstaden.