英語学者として有名な斎藤秀三郎の次男として東京築地明石町に生まれ、1906年から麹町五番町（現在の東京都千代田区一番町）に育つ。
斋藤秀雄出生于东京筑地明石町，父亲斋藤秀三郎是知名英国学者，1906年之后在曲町五番町（千代田区一番町）度过童年。