Tras el estallido de la guerra civil estadounidense, Pendleton ingresó en el Ejército confederado y fue elegido capitán de la Artillería Rockbridge. Pendleton ascendió rápidamente en el escalafón militar llegando a coronel y jefe de artillería en el Estado Mayor del general Joseph E. Johnston. Durante toda la guerra sirvió en el Ejército de Virginia del Norte, desde la Primera batalla de Bull Run hasta la rendición confederada tras la batalla de Appomattox. El 26 de marzo de 1862 fue nombrado brigadier general. Sirvió como jefe de artillería en el Ejército de Virginia del Norte durante una gran parte de la guerra, sin embargo, en las fases finales del conflicto se dedicó a funciones administrativas y estuvo destinado en la reserva de artillería. Fue un amigo personal de Robert E. Lee, comandante del Ejército de Virginia del Norte.