Drayton kämpfte als Teil des rechten Flügels der Nord-Virginia-Armee unter dem Kommando von Generalleutnant James Longstreet vom 28. bis zum 30. August 1862 in der Zweiten Schlacht am Bull Run, am 14. September 1862 bei der Schlacht am South Mountain und bei der Schlacht am Antietam am 17. September 1862. Im August 1863 übertrug man Drayton das Kommando über eine neue Brigade in der Division von Generalmajor Sterling Price. In der Folgezeit bis Ende des Krieges betraute man ihn hauptsächlich mit administrativen Aufgaben.