Pendant la première partie de la guerre, Richardson sert sous les ordres de Pillow, et recrute le 12th Tennessee Cavalry (aussi connu comme le 1st Tennessee Partisan Rangers) et est élu colonel de l'unité. Richardson participe à la bataille de Shiloh et au siège de Corinth. Il est affecté au commandement de Forrest à l'automne de 1863. Le , il est nommé brigadier général ; cependant, après avoir été confirmée, sa nomination est renvoyée par le sénat confédéré à la demande du président Jefferson Davis, le . À partir de ce moment jusqu'à la fin de la guerre, son régiment est affecté au commandement de James R. Chalmers.