Stamp debuteerde op zeventienjarige leeftijd voor Middlesbrough, waar hij doorstroomde uit de jeugdacademie, op 10 oktober 1993 tegen Watford. Hij speelde onder anderen samen met Paul Gascoigne, de Brazilianen Emerson en Juninho Paulista alsmede de Colombiaan Hamilton Ricard. In 1997 verloor Stamp als basisspeler de FA Cup-finale tegen Chelsea. In 2002 verliet hij Teesside. Van 2002 tot 2005 speelde Stamp in Schotland voor eersteklasser Heart of Midlothian.