С началом Гражданской войны 1861‒1865 годов, Виллих активно вербовал немецких иммигрантов в Юго-Западном регионе штата Огайо. Он вступил в 9-й огайский пехотный полк как полковой адъютант в звании лейтенанта и дослужился до майора в августе того же года. Он служил в Западной Вирджинии, участвовал в бою при Рич-Маунтин. Затем губернатор Оливер П. Мортон назначил полковника Виллиха командиром 32-й индианского полка, сформированного из волонтёров из числа этнических немцев. Он довёл вверенный ему отряд до высокого уровня профессионализма, применял новаторские тактические приёмы, кормил своих подчинённых свежим хлебом и заслужил от них прозвище «папы».