Pastorius, siguiendo los pasos de su padre Jack, comenzó tocando una batería que adquirió con el dinero que ganaba en su trabajo de repartidor de periódicos, hasta que se lesionó la muñeca jugando al fútbol, a la edad de 13 años.