遠山直道
妻の美代子は中央信託銀行会長や日本銀行第24代大阪支店長を務めた白根清香の三女、音楽評論家の遠山一行が長兄、指揮者の遠山信二が次兄に当たる。また、3人の子がおり、長男は慶應義塾大学准教授の遠山元道、次男は実業家の遠山正道である。