Brandon besuchte das "Princeton College", der heutigen Princeton University in New Jersey und studierte Medizin, arbeitete später aber als Farmer und im Staatsdienst. Bei Ausbruch des Bürgerkriegs war Brandon bereits 60 Jahre alt. Sein Alter wurde jedoch ignoriert und er wurde stellvertretender Kommandeur des 21. Mississippi Infanterie-Regiments. Bei der Schlacht am Malvern Hill am 1. Juli 1862 wurde er verwundet und verlor ein Bein. Es dauerte fast ein Jahr, bis er seinen aktiven Dienst wieder aufnahm. Bei der Schlacht von Gettysburg vom 1. bis 3. Juli 1863 wurde er zum Oberst befördert und nahm auch an der Schlacht am Chickamauga am 19. und 20. September 1963 teil.