McCarthy startet sin karriere som midtstopper for Barnsley i 1977. Her spilte han 272 kamper over en seks års periode før han ble solgt til Mancester City. Her var han i fire sesonger før han ble solgt videre til Celtic, Lyon og han avsluttet sin spillende karriere hos Millwall i 1992.