Han var sønn av Johan Storm Munch, som var feltprest i Christiania, og Else Hofgaard. Faren var kjent som forfatter av patriotiske sanger. Da den fremtidige dikteren var 11 år gammel, flyttet han med foreldrene til Kristiansand, hvor faren var blitt utnevnt til biskop. I 1830 gikk han ut av byens latinskole og dro til universitetet i Christiania. Etter å ha tatt examen artium og examen philosophicum vendte han imidlertid tilbake til Kristiansand sommeren 1831, og tilbragte den følgende høsten og vinteren hjemme hos familien. Oppholdet ble avbrutt da faren døde i januar 1832. Ved hans død satt moren tilbake med syv barn, i en økonomisk vanskelig stilling. Familien flyttet til Christiania, hvor Andreas Munch måtte sørge for sitt eget livsopphold ved å undervise i skolen. Til slutt fikk han en sikker stilling som kopist i finansdepartementet.