Han laga også den første oversettelsen av Bibelen til grønlandsk. Han ble lærer på seminariet i Nuuk i 1859, etter at flere konflikter med menigheten hans førte til at han fikk avskjed derifra. Etter at han ble sagt opp, arbeidet Kleinschmidt på Seminariet i Nuuk.