Kaledinin isä oli Donin kasakkajoukkojen upseeri. Kaledinista itsestään tuli kasakkaupseeri vuonna 1879 ja hän valmistui Mikaelin tykistökoulusta 1882 sekä Nikolain yleisesikunta-akatemiasta 1889. Hän yleni everstiksi 1899, kenraalimajuriksi 1907 ja kenraaliluutnantiksi 1912. Hänet nimitettiin vuonna 1910 komentamaan ratsuväkiprikaatia ja vuonna 1912 Venäjän 12. ratsuväkidivisioonaa, joka ensimmäisen maailmansodan syttyessä 1914 liitettiin osaksi Galitsiassa sotinutta Venäjän 8. armeijaa. Kaledin siirtyi 1915 armeijakunnan ja kesäkuussa 1916 koko 8. armeijan komentajaksi. Kesän 1916 Brusilovin hyökkäyksen yhteydessä Kaledinin 8. armeija valtasi Lutskin, tuotti arkkiherttua Joosef Ferdinandin komentamalle Itävalta-Unkarin 4. armeijalle valtavat tappiot ja osallistui myöhempiin taisteluihin Kowelin ympäristössä. Kaledin ylennettiin samana vuonna ratsuväenkenraaliksi. Hän vastusti väliaikaisen hallituksen helmikuun vallankumouksen jälkeen armeijassa toteuttamia uudistuksia, joten hän joutui eroamaan toukokuussa 1917. Kaledin palasi kotiseudulleen Donin alueelle, jossa hän esiintyi myötämielisenä kasakoiden itsehallintopyrkimyksiä kohtaan. Hänet valittiin Donin kasakoiden atamaaniksi 8. kesäkuuta (26. toukokuuta) 1917.