Goldie startet sin karriere i 1892 i Clyde før han ble hentet til Liverpool av managerne John McKenna og W. E. Barclay i juni 1895.