Ukończył klasyczne gimnazjum w Nowoczerkasku, a następnie szkołę piechoty w Kijowie. Od 1892 r. służył w 130 chersońskim pułku piechoty i 21 brygadzie artylerii. W 1903 r. ukończył nikołajewską akademię sztabu generalnego. Wykładał wojskowość w kozackiej szkole junkierskiej w Nowoczerkasku. W 1911 r. awansował do stopnia pułkownika. Brał udział w I wojnie światowej jako kolejno oficer do spraw specjalnych poruczeń w sztabie Wojska Dońskiego, szef sztabu 1 samodzielnej brygady kawalerii Kozaków dońskich, szef sztabu zabajkalskiej brygady kawalerii Kozaków dońskich, dowódca 17 turkiestańskiego pułku strzeleckiego, szef sztabu 5 kaukaskiej dywizji kawalerii i generalny kwatermistrz w sztabie Armii Kaukaskiej. 21 grudnia 1916 r. został awansowany do stopnia generała majora. Był odznaczony Orderem Świętego Jerzego IV klasy, Orderem Świętej Anny III klasy, Orderem Świętego Stanisława II i III klasy. Na początku maja 1918 r. wstąpił do białych formacji Kozaków dońskich. Objął funkcję komendanta kozackiej szkoły wojskowej w Nowoczerkasku, a pod koniec 1918 r. – delegata wojskowej rady Kozaków dońskich na pokojową konferencję wersalską w Paryżu. Delegacja nie została jednak dopuszczona do obrad, w związku z czym na początku 1919 r. powróciła nad Don. Generał J.M. Gierasimow pozostał we Francji, dlatego latem tego roku został skierowany do rezerwy. Na emigracji był zwolennikiem kozackiego separatyzmu. W okresie II wojny światowej podjął współpracę z Niemcami. Współuczestniczył w formowaniu kozackich oddziałów wojskowych w służbie armii niemieckiej. Od września 1944 r. pełnił funkcję zastępcy dowódcy kozackich wojsk rezerwowych niemieckiej Armii Rezerwowej. Po zakończeniu wojny uniknął repatriacji do ZSRR. Zamieszkał we Francji, gdzie zmarł 15 marca 1949.