岐阜県本巣郡、のちの鷺田村(現瑞穂市)で、遠山観治郎の長男として生まれる。