Terfel, som er bondesønn, fikk sin første sangundervisning av en venn av familien. Til å begynne med var hans repertoar mest walisisk folkemusikk. Han studerte ved Guildhall School of Music and Drama fra 1984 til 1989 og ble uteksaminert med en gullmedalje derfra. Allerede samme sommer sang han en rolle i Don Giovanni på Drottningholmsteatern i Stockholm. Etter dette har hans avtalebok stort sett vært full.