Kaledin ble offiser ved et kosakkregiment i 1879 og stabskaptein ved generalstaben i 1889. Han ble oberst i 1899 og generalmajor i 1907. I 1910 ble han sjef for en kavaleribrigade og 1912 sjef for 12. kavaleridivisjon og generalløytnant. Med denne divisjon inngikk han ved første verdenskrigs utbrudd 1914 i den åttende russiske armé, som rykket inn i østre Galizia. I 1915 ble han armékorpssjef og følgende år i juni sjef for åttende armé, som utførte angrepet mot Kovel og derpå følgende kamper.