Som barn ble han satt i huset hos sin morfar i Frederiksborg. Der var det et livlig musikkliv og Berggreen lærte å spille fløyte og klaver. Som 13-åring begynte han å komponere små fløytestykker og sanger og gjennom en av sine lærere stiftet han bekjentskap med norske folkemelodier, noe som startet en livslang interesse for folkesanger fra ulike land.