Los Alamos var isolert; som Feynman selv formulerte det «var det ingenting å der». I sin kjedsomhet fant Feynman forskjellige fritidsaktiviteter, som å dirke opp låser, bryte seg inn i pengeskap og legge igjen spydige beskjeder for å bevise at sikkerheten på laboratoriet ikke var så god som folk gjerne ville tro. Som trommeslager fant han isolerte deler av mesaet, hvor han kunne spille i indiansk stil, «og kanskje danset og sang jeg litt». Disse aktivitetene forble ikke ubemerket, men ingen visste at «Injun Joe» i virkeligheten var Feynman. Han ble venn med laboratoriets leder, Robert Oppenheimer, som uten å lykkes forsøkte å lokke ham vekk fra andre forpliktelser for å arbeide ved University of California, Berkeley etter krigen.