Som 14-åring begynte Joe Pass å få spillejobber i band. Senere begynte han å turnere sammen med små jazz­ensambler og flyttet til slutt til New York. Han hadde en periode der han brukte mye narkotika og måtte gjennom et 2½ års avrusnings­program for å bli kvitt problemene. Han var da ved Synanon-senteret. I 1962 spilte han inn sitt første album, , som fikk litt oppmerksomhet for komposisjonen «For Django», tilegnet den franske jazzgitarist Django Reinhardt som var død ni år tidligere.