Parry spilte i , , (som i 1919 ble til Leicester), og Brighton før han ble hentet til Liverpool av manager Tom Watson i mars 1900. Han fikk sin debut 13. oktober samme år i hjemmekampen på Anfield mot Bolton i en kamp Liverpool vant 2 – 1 foran 12 000 tilskuere. Hans første mål kom først 1. april 1904 i bortekampen mot Everton på Goodison Park uten at det hjalp de røde idet Everton vant 5 – 2. Han fikk totalt 222 kamper for klubben, og scoret 4 mål i løpet av denne perioden.