Rung ble født i København, men bodde i Næstved i oppveksten. I 1825 kom han tilbake til København hvor han blant annet fikk undervisning i musikkteori av C.E.F. Weyse. I 1828 ble han elev på kontrabass i Det Kongelige Kapel og i 1834 fikk han ansettelse som .