輝久には彰久、豊久、舒子の3子があり、舒子は木戸侯爵家の長男で日銀・日本勧業角丸証券常務などを務めた木戸孝澄に嫁いだ。