З середини 1970-х років брав участь у правозахисному і дисидентському русі . Один із засновників і авторів самвидавного журналу «Поиски» («Пошуки», 1978—1980). У 1982 р. вийшов з КПРС. У 1978 р. в листі американському історику Стівену Коену Гефтер так писав про себе :… я не дисидент в звичному сенсі, я, якщо завгодно, аутсайдер або, по Вашій термінології, єретик. Я не знаю відповідей заздалегідь і пробиваюся до питань, завжди готовий зробити посильне, щоб допомогти в цьому іншим, більш молодим …З 1987 р., після початку перебудови, Гефтер знову отримав можливість друкуватися і працювати. У 1991 р. вийшла збірка його публіцистичних і історичних статей «З тих і цих років» . Спільно з Ю. Н. Афанасьєвим і А. Д. Сахаровим заснував суспільно-політичний клуб «Московська трибуна». З 1992 р. — президент науково-просвітницького центру «Голокост» . З лютого 1993 р. — член консультаційно-аналітичної ради при Президентові Росії. На знак протесту проти розстрілу Верховної ради РФ пішов з цієї посади.