藤秀雄出生于东京筑地明石町，父亲斋藤秀三郎是知名英国学者，1906年之后在麹町五番町（千代田区一番町）度过童年。12岁时开始对音乐产生兴趣，第一次演奏乐器是曼陀林。斋藤秀雄从16岁开始学习大提琴。在此之后，斋藤秀雄就读晓星中学及上智大学。22岁时与作曲家近卫秀麿在德国学习音乐就，就读莱比钖音乐学院。1927年，他加入新交响乐团（NHK交响乐团的前身），成为首席大提琴。1928年，斋藤秀雄成为乐团指挥。1929年，斋藤秀雄举行首次独奏会。1930年，斋藤秀雄在柏林音乐学院留学。1936年，约瑟夫·