Casey fue ascendido a general de brigada de voluntarios el 31 de agosto de 1861, poco después de su llegada a la costa este y fue ascendido a coronel del ejército regular el 9 de octubre. Casey llegó a ser comandante de división en el IV Cuerpo bajo el mando del general de brigada Erasmus Keyes. Durante la Batalla de los Siete Pinos, la división de Casey fue atacada por los confederados de D.H. Hill y expulsada del campo en pánico. El general George B. McClellan los culpó por el desastre, a pesar de que era la división más pequeña, menos experimentada y menos equipada del ejército y claramente no debería haber sido colocada en un lugar tan vulnerable como el cruce de Seven Pines. Casey fue removido del mando de la división y reemplazado por el General de Brigada John J. Peck. Durante el resto de la Campaña de la Península, Casey y su antigua división fueron relegados a un puesto alrededor del cuartel general del ejército en Harrison's Landing y se mantuvieron alejados del frente. Después de las batallas de los Siete Días, cuando McClellan llevó a cabo una revisión del ejército, los soldados de la división de Casey le dieron la espalda y se negaron a vitorearlo. Fue ascendido a mayor general de voluntarios el 27 de julio (a partir del 4 de julio) en promoción general de todos los comandantes de cuerpos y divisiones del ejército.