В 1924 году работал в Закавказье политическим представителем ОГПУ и членом коллегии Закавказского ЧК. Одновременно он являлся помощником командующего войсками ОГПУ в Закавказье и уполномоченным Наркомвнешторга по борьбе с контрабандой. Блюмкин участвовал в подавлении антисоветского восстания в Грузии, а также командовал штурмом города Баграм-Тепе, захваченного персидскими войсками. Участвовал в пограничных комиссиях по урегулированию спорных вопросов между СССР, Турцией и Персией.