Sowiecka inwazja na początku 1921 r. doprowadziła do upadku niepodległej Gruzji i utworzenia Gruzińskiej Socjalistycznej Republiki Radzieckiej, rządzonej przez Bolszewicki Komitet Rewolucyjny ("Rewkom"). Czolokaszwili, w przeciwieństwie do wielu innych działaczy niepodległościowych, nie udał się na emigrację, lecz wycofał się w góry Kaukazu, gdzie zorganizował partyzancki opór skierowany przeciwko nowemu reżimowi. W marcu 1921 r. dowodził niewielką partyzancką grupą znaną jako „Konspiratorzy Gruzji”, która wzięła udział w serii potyczek z Armią Czerwoną oraz oddziałami WCZk (sowieckiego organu bezpieczeństwa) w swoim rodzinnym regionie Kachetia. Po starciu pod Sighnaghi w czerwcu 1922r, Czolokaszwili przeniósł się do górskiego dystryktu Chewsureti, gdzie zjednoczył miejscowych chłopów przeciwko rządowi bolszewickiemu. Armia Czerwona, wspierana przez lotnictwo, opanowała terytorium, jednak Czolokaszwilemu udało się przedostać do sąsiedniej Czeczenii, skąd w listopadzie 1922 r. prowadził najazdy na Gruzję. Jego brat, Simon, zginął w trakcie akcji, a pozostałych członków rodziny aresztowano. Jego teść został później zamordowany przez WCzk.