西村が生まれたときには、家に長兄夫婦、姉、章三(のち衆議院議員)、勇三がいた。