ICJ ble stiftet i 1952 i Berlin till minne om den vesttyske juristen og menneskerettighetsforkjemperen Walter Linse. Han var blant annet leder av foreningen Free German Jurists. Den 8. juli 1952 ble Walter Linse arrestert av østtyske etterretningsagenter som overleverte ham til Sovjetunionen etterretningstjeneste KGB, som anklaget ham for spionasje og antisovjetisk propaganda. Han ble henrettet i Sovjetunionen ett år senere, til tross for sivile protester og offisielle protester fra blant andre daværende forbundskansler Konrad Adenauer. Dette ledet til at en gruppe jurister startet en organisasjon som har som formål å forsvare menneskerettigheter gjennom å arbeide for rettssikkerhet.