I 1847 kjøpte den amerikanske militærguvernøren i California på vegne av USA øya for 5 000 dollar fra meksikanerne, og bebygde den i 1854 (ble fullstendig ombygd fra grunnen av i 1909). Militæret tok øya i bruk som "Fort Alcatraz" i 1859. De brakte krigsfanger dit fra 1861, her ble sørstatssoldater og mannskap fra et erobret handelsskip fra sørstatene internert under den amerikanske borgerkrigen. I 1903 var fengselet så forfallent at det måtte stenges. Planleggingen av et nytt hus begynte i 1906, men det store jordskjelvet i San Francisco samme år førte til at byggingen dro ut i tid, og stod ikke ferdig før i 1911.