Som seksåring var Sigurd eldst av de to kongsbrødrene som beseiret Sigurd Slembe og Magnus Blinde i slaget ved Holmengrå. Etter dette var det relativ fred i riket i flere år. I 1142 kom Inges og Sigurds eldre halvbror Øystein Haraldsson til Norge og ble tatt til konge sammen med dem. Samtidig ble den yngre, og sykelige Magnus Haraldsson tatt til konge. Sagaen forteller av Inge og Sigurd hadde felles hird så lenge formynderne deres levde. Øystein hadde egen, «for han var fullvoksen mann». Etterhvert skulle Sigurd og Øystein gjøre felles sak mot Inge, uten suksess.