Ross ble født den 29. oktober 1942 i Daytona Beach, Florida, og vokste opp i Orlando, Florida. Han hadde en halvbror, Jim, som han nevnte på showet sitt. Mens han jobbet som snekker mistet han en del av pekefingeren sin, men det påvirket ikke hvordan han holdt paletten sin mens han malte.