Goldie ble født i Ayrshire i Skottland. Han spilte for Hurlford Thistle og Clyde før han ble hentet til Liverpool av manager John McKenna 25. november 1897. Goldie gjorde sin debut for Anfield-klubben 2. april 1898. På denne tiden spilte også hans bror Archie på laget. Goldie fortsatte å spille fast på Liverpool. Fra 23. desember 1899 til 27. april 1903 var han involvert i alle de 129 kampene Liverpool spilte i denne perioden. Totalt spilte han 174 kamper og scoret 6 mål for laget. Han vant ligaen i 1901.