Hvor irregulær hans valg som biskop enn hadde vært, sto Geoffrey overfor store problemer som administrator av setet. Det var i dårlig forfatning etter et århundre med stadige vikingangrep fra nordboere i Skandinavia. Det var også få kanniker, og ingen bøker, bibler eller utsmykning. En lang rekke tidligere biskoper hadde bodd i Rouen eller Saint-Lô og vært altfor langt unna til være aktivt deltagende i gjenoppbyggingen. De få relikvier som var blitt berget var fra to tidligere biskoper, den hellige Lô og den hellige Rumpharius, var blitt oppbevart ved kirken St. Sauveur i Rouen. I løpet av sin tid som biskop fikk Geoffrey fullført byggingen av den romanske katedralen som ble påbegynt av hans forgjenger biskop Robert, og deler av dette byggverket har overlevd i dag under gotisk dekke. Han rekonstituerte domkapitelet ved å tilbakekalle de kanniker som hadde blitt satt inn ved kirken Saint-Lô i Rouen og etablerte dets kirkehierarki. Det var også under hans tid han kirken fikk offisiell bekreftelse fra hertugen av Normandie for sine besittelser. Det er også bevis som knyter opprinnelsen av kulten til jomfru Maria til Geoffreys tid.