Syksyllä 1982 syntyi kiista Palestiinan vapautusjärjestön PLO:n johtajan Jasser Arafatin kutsumisesta vierailulle Suomeen. Aloitteen asiasta teki pääministeri Kalevi Sorsa tarkoituksenaan osoittaa solidaarisuutta palestiinalaisille maailmaa kuohuttaneen, Sabran ja Shatilan pakolaisleireissä tehdyn verilöylyn jälkeen. Parlamenttienvälisen liiton kokouksessa Roomassa juuri valittuna puheenjohtajana ollut Virolainen ehti tavata asian merkeissä palestiinalaisten valtuuskunnan, mutta samaan aikaan Yhdysvalloissa vierailulla ollut silloinen ulkoministeri Pär Stenbäck katsoi pahastuneena tulleensa sivuutetuksi. Lisäksi Israelin Ystävät -järjestö, joka piti Arafatia terroristijohtajana, reagoi hankkeeseen hyvin voimakkaasti. Lopputuloksena kukaan ei kutsunut Arafatia Suomeen, ja syntynyt sotku jäi Virolaiselle poliittiseksi painolastiksi. Eduskunnasta putoamisensa myötä Virolainen menetti myös IPU:n puheenjohtajan paikan ehdittyään toimia siinä vain kuusi kuukautta.