Pastorius ble født i Pennsylvania. Familien flyttet tidlig til Fort Lauderdale i Florida, der han vokste opp. Faren Jack var yrkesoffiser samt jazztrommeslager og sanger på fritiden. Jaco begynte selv som trommeslager, inntil han skiftet til å spille bass etter en skade i håndleddet under en fotballkamp som 15-åring. Rundt 17-årsalderen hadde han gjort seg bemerket i musikkmiljøet i Florida, og ble regnet som en av delstatens dyktigste bassister.