Весной и летом 1918 года один из командиров армии Северокавказской советской республики. Командовал полком, бригадой и с мая 1918 года — 1-й «Стальной» стрелковой дивизией в боях против белогвардейцев на Кубани и Северном Кавказе. В октябре 1918 года, рассорившись с главкомом 11-й Красной армии Северного Кавказа Сорокиным, Жлоба увёл свою дивизию с кавказского фронта на царицынский. «Стальная» дивизия совершила 800-км поход от станции Невинномысской до Царицына и нанесла 15 октября удар по тылам войск генерала П. К. Краснова, оказав решающую помощь защитникам Царицына и сохранив город от сдачи. Участвует в боевых действиях против Повстанческой армии Махно. В 1919 году командовал особым партизанским отрядом и группой войск Каспийско-Кавказского фронта под Астраханью, кавалерийской бригадой в составе 1-го конного корпуса Борис Думенко, участвуя в освобождении Новочеркасска (январь 1920).