Gilleberg hadde presteutdannelse (cand.theol. 1946, praktikum 1948). Han virka så i Hammerfest som adjunkt og hjelpeprest til 1955. Han blei opptatt av situasjonen til personer med psykisk utviklingshemming, eller åndssvake som var tidas betegnelse. Han var sentral i arbeidet for å få etablert et nordnorsk åndssvakehjem, og seinere formann for bygge- og plankomiteen for et slikt hjem på Trastad gård i Kvæfjord. Fra 1955 var han ansatt som bestyrer ved dette Nord-Norges åndssvakehjem. I 1956 hadde han stipend for å studere sosialomsorg i de nordiske landa og i 1963 for å studere det pedagogiske opplegget i «åndssvakeomsorgen» i Danmark og Tyskland.