I 1943 fikk Ulam en invitasjon av sin venn John von Neumann til å delta i et hemmelig prosjekt i New Mexico. Ulam undersøkte invitasjonen ved å låne en bok om New Mexico på universitetsbiblioteket. På lånekortet sto rekken med tidligere lånere, som samtidig var identisk med alle som nylig hadde forsvunnet fra universitetet. Ulam sluttet seg så til prosjektet, senere kjent som Manhattanprosjektet ved Los Alamos.