正室は堀田正亮の娘(祥運院)。