子に遠山友清(長男)、娘(遠山友明正室)、娘(浅野長寿継室)、娘(山村良景室)。