Ginsburg kam aus einer chassidischen Familie und schloss 1940 an der Universität Riga sein Jurastudium ab. Er war führendes Mitglied von Betar, der zionistisch-revisionistischen Bewegung in Lettland. Nach dem deutschen Einmarsch war er von 1941 bis 1943 Häftling im Rigaer Ghetto und anschließend bis 1945 in den Konzentrationslagern Kaiserwald im Stadtgebiet von Riga, Stutthof bei Danzig und Buchenwald. Sein Vater, sein Bruder und viele Verwandte wurden von der SS ermordet. Aus der sowjetischen Zone Deutschlands floh Ginsburg 1946 in den Westen. Von 1948 bis 1973 war er im öffentlichen Dienst des Landes Nordrhein-Westfalen mit Fragen der Wiedergutmachung nationalsozialistischer Unrechtstaten betraut. Von 1960 bis 1988 stand er als ehrenamtliches Vorstandsmitglied an der Spitze der Synagogen-Gemeinde Köln und machte sich einen Namen in überregionalen und internationalen jüdischen Gremien. Von 1973 bis 1988 war er hauptamtlicher Generalsekretär des Zentralrats der Juden in Deutschland. Schwerpunkte seiner Arbeit waren die Stärkung jüdischer Bildungseinrichtungen und der Jugend- und Kulturarbeit sowie der Abschluss der materiellen Entschädigung jüdischer Individuen und Institutionen durch die Bundesregierung. 1988 stellte sich nach dem Tod des Zentralratsvorsitzenden Werner Nachmann heraus, dass dieser Zinserträge aus bis dahin nicht ausgegebenen Wiedergutmachungsgeldern veruntreut hatte. Jüdische Gemeindefunktionäre verdächtigten Ginsburg der Mitwisserschaft an den Unregelmäßigkeiten und zwangen ihn zum Rücktritt. Trotz entsprechender informeller Bemühungen von Seiten des Zentralrats sah die in Sachen des verstorbenen Nachmann ermittelnde Staatsanwaltschaft Karlsruhe allerdings keinen Grund zu Ermittlungen gegen Ginsburg.