З 1923 року Кавтарадзе належав до Лівої опозиції, а у грудні 1927, на XV з'їзді ВКП(б), серед 75 «активних діячів троцькістської опозиції» був виключений з партії та засланий до Оренбурзької губернії. 24 грудня 1928 року був заарештований у засланні та 5 січня 1929 року засланий на 3 роки до Середньої Азії, проте 25 січня того ж року постанову про заслання було скасовано, Кавтарадзе був засуджений до 3 років позбавлення волі та ув'язнений у Тобольському політізоляторі. Після подання заяви про відхід від опозиції 1931 року був звільнений.