Die Herkunft von Geoffrey Ridel ist ungeklärt, doch vermutlich entstammte er einer normannischen Adelsfamilie. Im 11. und 12. Jahrhundert gehörte eine Familie "Ridel" zu den normannischen Adelsfamilien in Sizilien, und ein Geoffrey Ridel diente zwischen 1061 und 1084 als Gefolgsmann von Robert Guiscard. Nach dem Domesday Book von 1086 kam ein Geoffrey Ridel zusammen mit einem Bruder von Roger Bigod aus Apulien nach England. Ob diese genannten Personen mit dem Richter Geoffrey verwandt oder identisch sind, ist ungewiss, dazu werden im 11. Jahrhundert noch weitere Personen mit dem Namen genannt, die jedoch vermutlich keine Normannen waren. Geoffreys Bruder "Matthew", der Mönch in der Abtei Mont-Saint-Michel war, wurde 1102 Abt von Peterborough Abbey, und Geoffrey pachtete von der Abtei das Gut von Pytchley. Matthew starb aber bereits im Oktober 1103. Um die Rückgabe des Gutes kam es später zum Streit mit Petersborough Abbey, doch Geoffrey Ridel behielt es bis zu seinem Tod.