Han var sønn av Dag Eilivsson, som grunnla Gimsøy kloster, og gjennom moren var han beslektet med Giskeætten. Søsteren Baugeid var abbedisse ved klosteret. En annen søster, Borghild, var gift med Kåre kongsbror, sammødre halvbror av kong Olav Magnusson. Gregorius var en av de fremste lendmennene i sin tid, og bodde på gården Bratsberg i Grenland. Da han hadde påkalt seg kong Sigurd Munns vrede, gikk han over til kongens bror Inge Krokrygg, og ble en av dennes sterkeste støtter i de følgende urolighetene, da Inges brødre, Sigurd og Øystein Haraldsson slo seg sammen for å berøve ham hans del av riket. Inge var sterkt funksjonshemmet, og lot høvdingene (deriblant Gregorius) rå for det meste av landsstyringen. Inges bror Øystein forsøkte å ta Gregorius til fange, men Gregorius klarte å rømme, og Øystein brente gården hans.