Som lite barn ble Inge satt til fostring hos Åmunde Gyrdsson i Viken. Faren Harald ble senhøsten 1136 utsatt for et «» av samme type som han selv hadde påført kong Sigurd Jorsalfare: Han blir oppsøkt i Bergen av en angivelig halvbror, Sigurd Slembe, som sa at han var sønn av Magnus Berrføtt og ba forgjeves om at slektskapet ble anerkjent av Harald. Noe senere tok Sigurd livet av kongen mens han sov hos frillen Tora, natten mellom 13. og 14. desember. Sigurd Slembe lyste drapet på seg og ba om å bli tatt til konge. Han og hans menn ble i stedet dømt fredløse og jaget fra Bergen.