Nel 1997 Smith tornò nel Canterbury e dal 1997 al 1999 fu l'allenatore dei impegnati nel Super 12. Sotto la sua guida la franchigia vinse il titolo di campione due volte di fila (1998 e 1999). Nel frattempo era anche assistente allenatore degli All Blacks e dal 2000 al 2001 è stato capo-allenatore degli All Blacks ma visti gli scarsi risultati si dimise dall'incarico. Ben presto si trasferì in Inghilterra al fino a quando non fu richiamato, all'inizio del 2004, dall'allora allenatore degli All Blacks Graham Henry.