Etter at Gregorius Dagsson ble kong Inges rådgiver, oppsto en splittelse mellom Inge og de to etterhvert samstemte halvbrødrene Sigurd og Øystein. De tre kongene skulle møtes i Bergen i 1155, men etter to provokasjonsdrap fra Sigurds side, og innstendige oppfordringer fra Gregorius, samtykket Inge i å gå til angrep på Sigurd og hans menn. De ble drept før Øystein rakk å komme til byen. To år senere ble Øystein drept av Inges menn, etter lang tids uenighet og mye hærferd. Etter Sigurds og Øysteins død samlet deres støttespillere seg bak Håkon Herdebrei, som drepte Inge i et slag på isen utenfor Oslo i 1161. Sagaskriverne legger skylden for striden på Øystein og Sigurd, som i 1155 planla å avsette Inge fordi de mente han ikke hadde helse til å være konge. Men mellom linjene kan vi lese at Gregorius' uforsonlig holdning i konflikten må ta en del av skylden. Sammen med Gregorius ble den senere kongsfaren Erling Skakke en av Inges nærmeste menn.