虽然聂卫平是一位十分爱国的老先生，但是因为人生种种经历，他的前妻、儿子、孙子都加入了日本籍，经常代表日本围棋届向中国发起挑战，之所以造成这样的结果，这与聂卫平的风流作风有关，聂卫平结发妻子名叫孔祥明，是中国女子围棋大师，儿子名叫孔令文，当时聂卫平在婚内爱上了一位女歌手，并为了女歌手与孔祥明离婚，最终导致孔祥明心灰意冷，只能远走日本，儿子孔令文也跟随前往日本生活，不久之后加入了日本籍