Travilla ble født i mars 1920 på Santa Catalina Island i California; dette er en stor øy ikke langt utenfor Los Angeles. Han var et vidunderbarn og fikk voksenundervisning på Chouinard Art Institute i Los Angeles fra han var åtte år gammel.