Fra februar 1995 til november 1996 var han manager i nedrykningstruede Coventry City. Han overtok etter manager Phil Neal. Han ville ikke høre snakk om nedrykk da han kom til klubben, og etter bare noen uker hadde laget vunnet 6 kamper på rad, blant annet en berømt seier borte mot Liverpool på Anfield. Coventry vant bare 14 av hans 64 kamper, men laget fikk mye oppmerksomhet på grunn av Atkinsons personlighet. Han klarte også å lokke stjernespillere som Gordon Strachan og Gary McAllister til klubben. Strachan fungerte som assistent for Atkinson.