Parkinson var en notorisk målscorer for Liverpool i de første årene i Anfield klubbens historie. Han fikk sin debut 3. oktober 1903 mot Small Heath (Birmingham), og brukte kun 16 minutter på å score sitt første mål for klubben.