Joe Pass ble født i New Brunswick i New Jersey i 1929 til en ikke-musikalsk familie. Hans interesse for musikk ble vekket da Gene Autry portretterte en gitar­spillende cowboy. Han fikk så sin første gitar som niåring. Gitaren var av merket og kostet angivelig 17 dollar. Det var hans far Mariano Passalaqua som først oppdaget at Joe Pass hadde et musikalsk talent, og oppmuntret sønnen til å hele tiden øve skalaer og plukke melodier av radioen etter øret.