Hoewel hij werd geboren in Schotland groeide Smith op in het noorden van Engeland. In 1994 vertegenwoordigde hij Schotland bij de Gemenebestspelen in Victoria, Canada, waar hij de finale haalde van zowel de 400 als de 1.500 meter vrije slag. Een jaar later maakte Smith voor het eerst zijn opwachting in de Britse zwemploeg, toen hij deelnam aan de Europese kampioenschappen in Wenen. Daar wist hij bijna de regerend kampioen, de Duitser Jörg Hoffmann, te verrassen op de marathon onder de zwemnummers, de 1.500 meter vrije slag. Een jaar later won hij brons bij de Spelen in Atlanta op hetzelfde onderdeel, nadat hij in de slotmeters voorbij werd gezwommen door de Australiër Daniel Kowalski. Het goud ging naar diens landgenoot Kieren Perkins.