创作做准备，期间与他的向导兼翻译、金日成的一位女秘书勾搭成奸，公然同居，影响极坏，事发后女秘书被金日成下令枪毙。周恩来得知后要求将金山其押回国内处分，后被开除党籍并撤销职务，并下放工厂劳动。并要求孙维世与金山“划清界限”，不过孙维世经过权衡没有离婚。文化大革命期间金山受到迫害，被监禁七年之久。1975年平反，此时他才得知孙维世已在7年前于狱中去世。1976年，65岁的他又与孙维世之妹孙新世成婚。1978年出任中央戏剧学院院长。1982年任兼任电视剧艺术委员会主任。同年7月逝世。