Lorsque la guerre de Sécession éclate en 1861, Gordon organise et devient colonel du 2nd Massachusetts Infantry. Le régiment sert à la garde de la partie supérieure du fleuve Potomac et de Frederick, dans le Maryland, et au printemps de 1862, Gordon sert sous les ordres du major généralNathaniel P. Banks, s'opposant vainement au major général Stonewall Jackson dans la vallée de la Shenandoah. À la suite de la défaite à Front Royal et de la retraite de Strasburg de l'armée nordiste, Gordon et sa brigade sont lourdement engagés lors de la première bataille de Winchester le . Gordon est nommé brigadier général des volontaires, le , avec une date de prise de rang au .