Manne creció en una familia musical; su padre, batería y timpanista, se opuso al deseo de Shelly de ser batería y le compró un saxofón, que Shelly ni siquiera llegó a tocar.