En septiembre de 1995, Neumann introdujo una enmienda que requería la aprobación del Congreso del despliegue de tropas en Bosnia que no se aprobó. Luego, el 29 de septiembre, votó para anular la asignación militar de $243 mil millones, junto con otros miembros de primer año, porque no contenía su enmienda. Como castigo por su voto, Bob Livingston lo destituyó del comité. Esto fue breve y Neumann finalmente fue reasignado al comité.