飯島の遺稿集に収載された「生きる-あるフェミニストの半生」によれば、開業医であった飯島の父は権力的で、何かにつけて妻(飯島にとっては母)に対し「だから女はダメなんだ」という言い方をした。