他娶噶哈善哈思虎遗孀、努尔哈赤妹为妻。妻子称沾河姑，两人育有三子。但他与沾河姑感情不合。妻子曾向努尔哈赤请求离婚，不得。两人长期分居，直到逝世。扬书于天命年间去世，努尔哈赤亲临丧礼。扬书有子达尔汉，改隶镶蓝旗。妻子沾河姑在雍正年间，因子孙之请，获得和硕公主的追赠，但他却无和硕额驸的追赠。《皇朝通志》则称他为正蓝旗人。努尔哈赤将妹妹嫁给他，并封为和硕额驸，预备将他列入四大臣。