Iver Holter ble født som prestesønn. Han studerte først medisin og var i 1873 nesten ferdig med studiene, men avbrøt disse i 1876 for å bli musiker. Han studerte musikk under Johan Svendsen, som også oppfordret ham til å dra til Leipzig og Berlin.