Starke devient colonel du 28th Mississippi Cavalry avec une commission datée du . Son régiment est attaché au commandement du brigadier général Martin Smith, pour la défense de Vicksburg, au Mississippi, et en septembre, il compte près de . Stationné à Panola en novembre, il prévient de l'avance de l'expédition de Hovey de l'Arkansas, et pendant ce mouvement infructueux de l'ennemi, son régiment est engagé dans des escarmouches. À partir de ce moment, durant les efforts de longue-durée  pour réduire Vicksburg, la cavalerie confédérée est activement occupée à observer les mouvements de l'ennemi. lors de l'organisation des forces à l'extérieur de Vicksburg par le général Joseph Johnston, lui et son régiment sont affectés à la brigade de cavalerie du brigadier-général William Jackson, tout d'abord composé des régiments de Pinson, Harris, Starke, et d'Adams, et du bataillon de Steede. En , il participe à la victoire à Thompson's Station, sous les ordres du major-général Earl Van Dorn.