Second Army
En 1883, le général von Kaulbars commanda la de cavalerie ; en 1891, il fut élevé au grade de général-lieutenant. En 1894 il fut nommé commandant du d'armée de cavalerie et, trois ans plus tard, de la 2e armée de Sibérie. En 1900, il fut nommé général de cavalerie et servit à Odessa. L'année suivante, il commandait toutes les forces armées de la région militaire d'Odessa.