Andreas ble døv 2 år gammel, og fikk mangelfull skolegang i oppveksten, som en konsekvens av sitt handikap. Nærmeste skole for døve lå i København og bar navnet Det kongelige Døvstummeinstitut. Der ble det undervist etter den franske metoden med tegnspråk og skrift; det var gjennom tegnspråket at elevene skulle lære seg dansk. Ved hjelp av økonomisk støtte fra fattigvesenet i Trondheim kunne Andreas begynne på denne skolen i 1810 i en alder av 14 år. Han utmerket seg i flere fag, og ble satt i arbeid som “Lærer og Repetitør for ældste Klasse af Elever” av skolens forstander, den norskfødte legen og professoren Peter Atke Castberg.