O seu pai era violinista nunha banda de mariachi, e o mozo Carlos aprendeu a tocar o violín, pero mudou para a guitarra cando tiña 8 anos. En 1955 a súa familia mudouse para Tijuana, e Santana empezou a tocar en clubs e bares da zona turística. Ficou en Tijuana cando a súa familia mudou novamente de localidade, desta vez para San Francisco, California, pero despois seguiunos. En 1966 axudou a fundar a Santana Blues Band, que despois cambiou para Santana. A banda empezou a tocar en The Fillmore West, onde moitas das bandas lendarias de San Francisco tocaron. A súa estrea en gravación ocurreu con The Live Adventures of Mike Bloomfield and Al Kooper, con Al Kooper e Mike Bloomfield.