Kelley tjenestegjorde i 2. verdenskrig som vervet medlem av US Army Air Forces i perioden mellom 10. mars 1943 og 28. januar 1946. Etter et utvidet opphold ved Long Beach i California, bestemte han seg for å flytte til delstaten permanent for å forfølge en skuespillerkarriere, og å leve med sin onkel, Casey. Han arbeidet som betjent ved et lokalt teater for å tjene nok penger til flyttingen. Kelly fikk oppmuntring fra sin mor, men hans far ikke likte ideen. Da han var i California, ble Kelley oppdaget av en speider fra Paramount Pictures mens han lagde en treningsfilm for US Navy.