I forbudstiden på 1920- og 1930-tallet arbeidet Kelly som spritsmugler for seg selv, så vel som for en kollega. Etter kort tid og flere raid av det lokale Memphis-politiet, bestemte han seg for å forlate byen og flytte vestover med sin kjæreste. For å beskytte sin familie og unnslippe politiet forandret han navnet sitt til George R. Kelly. Han fortsatte å begå mindre forbrytelser og spritsmugling. Han ble arrestert i Tulsa, Oklahoma for å ha smuglet brennevin inn i et indianerreservat, og ble dømt til tre år i Leavenworth Fengsel, Kansas i begynnelsen av februar 1928. Han skal ha oppført seg eksemplarisk i fengselet, og slapp ut før tiden. Ikke lenge etter giftet han seg med Kathryn Thorne, som hadde en lang kriminell løpebane og var den som kjøpte det første maskingeværet til Kelly. Han hadde ikke vært særlig interessert i våpen, men Kathryn Thorne insisterte på at han skulle dra ut på landsbygda og lære seg å håndtere geværet. Hun arbeidet også iherdig for å skaffe Kelly et solid omdømme i det kriminelle miljøet på det nye hjemstedet. høyre|miniatyr|George «Machine Gun» Kelly føres fra Shelby County Fengsel på vei til Memphis internasjonale lufthavn og Oklahoma City for rettssaken om kidnapping av Charles F. Urschel, 2. oktober 1933. høyre|miniatyr|George og Kathryn Kelly får livstidsdom for Urschels kidnapping, 12. oktober 1933. I januar 1932 skal han ha kidnappet en lokal forretningsmann i Indiana; mannen ble løslatt etter et døgn og selv om det var mange presseoppslag om saken den første tiden etterpå, gikk den etter hvert i glemmeboken. J. Edgar Hoover skrev i boken (1938) at Kelly stod bak en kidnapping på den tiden, og mange antok at det var Indiana-saken han siktet til.