Wahlenberg ble født den 1. oktober 1780 på gården Skarphyttan i Värmland. Han var sønn av brukseier til Skarphyttan Georg Alexandersson Wahlenberg og Catharina Carlsdoter. Faren kom fra en slekt med bergmenn. Göran var midterst av tre brødre. Da han var åtte år, døde moren. Senere fikk han en stemor som tok seg godt av ham og brødrene. Helt fra han var en liten gutt, likte han å synge Carl Michael Bellmans sanger, noe han gjorde helt til sine siste leveår.