I september 1827 tok Kjølstad medisinsk embetseksamen, og nå kunne han endelig gifte seg med sin forlovede, kjøpmannsdatteren Anne Dorothea Warncke fra Drøbak. I 1828 ble han utnevnt til korpslege for Hedemarkske Musketerkorps. Året etter bosatte han seg i Lillehammer. På slutten av året 1832 ble han utnevnt til stadslege i Kristiansund. Her var til 22. september 1835, da han søkte avskjed for kunne flytte tilbake til Lillehammer. 18. mai 1836 ble han distriktslege i Gudbrandsdalen, og da området ble delt i 1840 for Søndre Gudbrandsdal. I 1844 måtte han gi opp sin praksis og ty til Eidsvolls Bad. Herfra oppnådde han å få avskjed med pensjon fra 17. september 1845.