遠山は1974年から軽井沢の別荘で8月に「数学の苦手な中学生」を集めて数学を教える「遠山塾」(「ひと塾」)を開いた。