Nachdem er 1321 volljährig geworden war, begann Grey eine militärische Karriere. 1322, 1323 und 1327 nahm er an Feldzügen nach Schottland teil, dazu diente er 1325 während des Kriegs von Saint-Sardos in der Gascogne. Vor 1330 wurde er zum Ritter geschlagen. Nach dem Sturz von Eduard II. und der Hinrichtung von dessen Favoriten Hugh le Despenser 1326 versuchte Grey, dessen reiche Witwe Eleanor zu heiraten. Dies führte zu einer erbitterten Fehde mit William la Zouche, 1. Baron Zouche of Mortimer. Am 26. Januar 1329 berief der König eine Kommission ein, die Greys Behauptung, Zouche hätte seine Frau Eleanor aus Hanley in Worcestershire entführt, untersuchen sollte. Im Parlament zu Michaelis 1331 wurden die beiden Kontrahenten ermahnt, den Frieden zu wahren, doch Anfang 1332 kam es in der Gegenwart des Königs und des Kronrats zu einer tätlichen Auseinandersetzung zwischen den beiden, bei der Grey den Dolch gegen seinen Kontrahenten zog. Beide wurden daraufhin im Tower of London inhaftiert, doch während Zouche bald wieder freikam, blieb Grey im Tower und seine Besitzungen kamen unter königliche Verwaltung. Vermutlich kam er auch wenig später wieder frei, doch der Streit zwischen den beiden ging weiter. Grey wandte sich schließlich an den Papst, der am 15. Mai 1333 Bischof Roger Northburgh von Lichfield und Coventry anwies, den Streitfall zu lösen. Vor Gericht konnte Grey für seine Behauptung keine Zeugen nennen, so dass letztlich die Ehe zwischen Zouche und Eleanor bestätigt wurde und Grey leer ausging.