Han ble født som John Rees ved Ponterwyd i Ceredigion av blygruvearbeider og bonde, Hugh Rees og hans hustru. Rhys gikk på skole i Pantyffynnon og Ponterwyd før han flyttet til en britisk skole som nylig var etablert i Penllwyn i 1855. Han ble innrullert som student samtidig som han ble ansatt som lærer, og etter å ha studert ved Bangor Normal College fra 1860 til 1861. Etter Bangor fikk han jobb som rektor ved Rhos-y-bol på Anglesey og det var her han ble kjent med Charles Williams i 1869, daværende leder av Jesus College ved Universitetet i Oxford. Dette bekjentskapet ført til at Rhys ble akseptert ved universitetet og hvor han studerte . I 1869 ble valgt som medlem av Merton College ved det samme universitet.