Debido a que se trataba de una época en la que el racismo adoptaba formas extremas bajo las Leyes Jim Crow, Colyer fue encarcelado en 1953 y luego deportado.