I juni 1969 ble Jim Smith manager for Boston United, som på denne tiden ikke var med i The Football League. Hans første managerjobb for en klubb som var med i The Football League var i Colchester United, som i 1972 spilte i 4. divisjon. I hans første hele sesong som manager i denne klubben, 1973/74-sesongen, rykket laget opp til 3. divisjon, og i sesongen etter ble de nummer 11 i 3. divisjon.