Après le massacre d'Hébron par Baruch Goldstein en 1994, condamné par une large majorité du public israélien, massivement par la classe politique et la Knesset, Ginsburgh publie un livret intitulé "Baruch Hagever" (écrit, adapté et édité par un de ses élèves), au sujet de Goldstein, en semblant prendre nettement position pour sa défense, selon des principes halakhiques qui ne pourraient souffrir un raisonnement logique déterminant si l'acte est digne ou condamnable. Le livre est interdit mais continue de circuler sous le manteau. En sa qualité de ministre de la Défense, Shimon Peres le fait arrêter et le rabbin est placé en détention préventive en 1996 pendant deux mois. Après un recours, la Cour Suprême considère qu'il n'incitait pas au crime mais exprimait sa position sur l'acte sans que ses paroles aient été susceptibles d'inciter ses étudiants à nuire aux Arabes, et il est relâché.