James Stockdale tilhørte gruppen av krigsfanger kjent som «Alcatraz-gjengen» sammen med George Thomas Coker, George McKnight, Jeremiah Denton, Harry Jenkins, Sam Johnson, James Mulligan, Howard Rutledge, Robert Shumaker, Ronald Storz og Nels Tanner. Disse hadde drevet motstandsvirksomhet i fangenskap, og ble derfor skilt fra de andre fagene og forflyttet til et eget fengsel. «Alcatraz» lå bak det nordvietnamesiske forsvarsdepartementet, et stykke vekk fra Hỏa-Lò-fengselet. I «Alcatraz» satt fangene på eneceller på 3 × 9 fot med en lyspære som var påslått hele døgnet, og de ble satt i fotlenker om natten.