Россер начал службу в артиллерии в звании 1-го лейтенанта, боевое крещение получил в первом сражении при Булл-Ран. В битве при Механиксвилле получил тяжёлое ранение, и получил за это звание подполковника. Однако, он оставил артиллерию и перешел в кавалерию, и был назначен полковником 5-го вирджинского кавалерийского полка.