飯沼貞雄は1881年(明治14年)に広島藩士松尾錬太郎の娘れんと結婚、1882年(明治15年)に長男一雄、1885年(明治18年)に長女浦路、1897年(明治30年)に二男一精と3人の子に恵まれた。