McCarthys første trenerjobb var som spillende trener i Millwall fra 1992 der han etterfulgte Brian Rioch. Her hadde han såpass suksess at han i 1996 fikk jobben som trener for der han etterfulgte Jack Charlton.