Med tiden ble Rittenbergs og noen andre utlendingers engasjement opplevd som plagsomt. Fra september 1967 ble det lansert en politisk kampanje kalt «16. mai-elementene» (五一六分子), som skulle sette på plass ubekvemme politisk engasjerte. Noen utlendinger ble stemplet som spioner og bakvasket som «skadelige elementer», blant dem Sidney Rittenberg. Det ble hengt opp et poster på radiostasjonen Rittenberg hadde virket om «Hvordan en amerikaner tilrev seg makten i Radio China International fra kommunistene». Lignende plakater dukket opp på «Friendship Hotel», der det bodde noen utlendinger.