Nacido en Vincennes, Indiana, Skelton era hijo de un payaso del circo Hagenbeck-Wallace llamado Joe, que falleció en 1913 poco después del nacimiento de su hijo.