Det er funnet spor etter mennesker i Kemområdet fra mesolittisk tid (ca. 8000–4000 f.Kr.), og det er også spor etter vikinger i området. Kem er først nevnt som et gods tilhørende Novgorods (tilsvarer stadtholder) i 1450, da hun donerte byen til Solovkiklosteret som ligger på den største av Solovkiøyene i Kvitsjøen like utenfor byen.