På tross av økonomisk aktivitet tok ikke permanent bosetning seg opp før 1860-tallet, og den forble sporadisk helt frem til 1917. Kolas befolkning i 1880, for eksempel, var kun rundt 500 personer i 80 hushold, sammenlignet med 1900 personer i 300 hushold i 1582. Transportfasiliteter eksisterte nærmest ikke, og kommunikasjon med resten av Russland var uregelmessig. 1887 så en tilstrømming av komier og nenetsere som migrerte til halvøya for å unnslippe reinsdyrsykdomsepidemier i deres hjemland, og de brakte med seg store reinflokker, noe som førte til økt konkurranse om beiteland, en konflikt mellom komier og samer, og en marginalisering av den lokale samebefolkningen. Innen slutten av 1800-tallet hadde de fleste av samene blitt tvunget nordover, med etnisk russisk bosetninger sør på halvøya. Landsbyen Lovozero ble det kulturelle sentret for samene.