1939년 독일-소련 불가침 조약에 대한 대중의 분노로 브라우더는 여권 사기로 기소되었다. 그는 1940년 초에 두 건의 죄목으로 유죄판결을 받았고 4년의 징역형을 선고받았으며, 항소심에서도 한동안 자유로워졌다. 1942년 봄, 미국 연방 대법원은 이 판결을 확정했고 브라우더는 연방 교도소에서 14개월의 징역형을 선고하기 시작했다. 브라우더는 이후 1943년 전시 단결을 위한 제스처로 석방되었다.