Логан принял участие в первом сражении при Булл-Ран в качестве добровольца. После сражения он вернулся в Вашингтон, уволился из конгресса и вступил в армию в звании полковника. Он возглавил 31-й иллинойсский добровольческий полк, который лично организовал. В армии он получил прозвище «Black Jack» за свои черные глаза и черные волосы. Он считается одним из самых способных из тех офицеров, которые не имели военного образования. Он служил на западе в армии Гранта, участвовал в сражении при Бельмонте, где под ним была убита лошадь, и при Форт-Донельсон, где он получил ранение. После последнего сражения он получил звание бригадного генерала, датированное 21 марта 1862 года. Во время осады Коринфа Логан командовал сначала бригадой, потом дивизией Теннессийской армии. Весной 1863 года ему присвоили звание генерал-майора, даритованное 29 ноября 1862 года.