I denne perioden reiste og studerte Rhys også i Europa, blant annet i Paris, Heidelberg, Leipzig, og Göttingen. Han var tilstede ved forelesningene til Georg Curtius og August Leskien mens han var i Leipzig, og det var da hans interesse i filologi og lingvistikk ble vekket. Rhys ble immatrikulert i 1871 og på omtrent samme tid endret han også stavingen av etternavnet. Han kom tilbake til Wales som regjeringsinspektør av skolene for Flint og Denbigh, og han bosatte seg i kystbyen Rhyl i nordlige Wales. Han begynte også å skrive artikler om keltisk grammatikk og om glosser i Luxembourg-manuskriptet som ble trykt. I 1872 giftet han seg med Elspeth Hughes-Davies.