Kantorowicz reiste i 1947 tilbake fra Vest-Tyskland til det kommunistiske Øst-Tyskland. Derfra prøvde han å få i gang en indre-tysk dialog. Kantorowicz sto i opposisjon til SED som var det statsbærende kommunustiske partiet i øst. Likevel fikk han arbeide som litterat og germanist i DDR. Fra midten av 1950-årene og umiddelbart før innmarsjen i Ungarn i 1955, ble han imidlertid overvåket etter å ha kritisert regimet. Da han i 1957 reiste til Vest-Tyskland, karakteriserte DDR-myndighetene dette som en politisk handling. I vest opprettholdt han imidlertid sin støtte til sosialismen, og ble derfor isolert også der.