Sky Blues hade det bättre av en tight tävling och kom närmast att hitta en vinnare när en 25-yards strejk av Jacob Murphy slog inlägget efter pausen.
Gillingham hade börjat med att Dominic Samuel slösade bort en bra öppning när han halkade i det viktiga ögonblicket.
Gael Bigirimana gick också nära med en curling skott för City, som föll till 11: e, nio poäng från spel-offs.
Gills är nu 10 poäng utanför toppen efter Wigans seger över Shrewsbury, men de har ett spel i hand på Latics och second-placed Burton.
Chefen för Covnetry City Tony Mowbray sa till BBC Coventry & Warwickshire:
"Jag tycker att sent att vi skulle ha vunnit det. Det var okej, men för det mesta var det en ganska dålig fotbollsmatch.
"Vi hade en spelplan och det nästan lönade sig.  Vi kom nästan undan med en 1-0 seger, men det skulle det inte bli."
Mid-table Coventry City tjänade en poäng från en drab match som Gillingham missade chansen att gå tredje i League One.