Kaukonen er sønn av en finsk diplomat. Han ble interessert i bluesmusikk i ung alder, og i 1957 startet han sammen med Jack Casady rockebandet . Kaukonen flyttet til Washington for å studere ved Antioch College, der han lærte fingerpicking og ble introdusert for musikken til Reverend Gary Davis, som ble et viktig grunnlag for Kaukonens repertoar.