Kallenavnet hans kom av at favorittvåpenet hans var et Thompson maskingevær. Hans mest beryktede forbrytelse var kidnappingen av oljebaronen og forretningsmannen Charles F. Urschel i juli 1933; Kelly og gjengen hans innkasserte 200 000 dollar i løsepenger i den saken. Offeret hadde imidlertid sørget for å etterlate en rekke spor som FBI fant i sin påfølgende etterforskning, og dette førte til slutt førte til at Kelly ble arrestert i Memphis den 26. september 1933. Den kriminelle løpebanen hans omfattet også spritsmugling og væpnet ran.