Hans far, som var sirkusklown, døde før Skelton ble født. Han vokste opp under svært fattige forhold og allerede som sjuåring sang han på gatene for å samle sammen noen slanter. Han hoppet ut av skolen som ti-åring og begynte å opptre i varietéer og på sirkus. Hans debut på film kom i 1938. På 1940-tallet og 1950-tallet var han en populær stjerne i en rekke komedier.