Во время латвийских боев за свободу Каулиньш вступил в батальон Калпака 3 января 1919 года и был назначен комендантом и командиром роты добровольцев Приекуле. Во время апрельского переворота старший лейтенант Каулиньш спас из немецкого плена министра обороны Латвии Яниса Залитиса и отвез его в порт Лиепаи на правительственном корабле "Саратов". После освобождения Риги в мае 1919 года Каулиньш стал комендантом штаба главнокомандующего Латвийской армии. Во время Бермонтиады его повысили до капитана, а после освобождения Земгале он был назначен командиром 3-го пограничного полка. 1 мая 1921 года Каулиньш была уволен с военной службы.