Brynner hevdet å ha sigøynerbakgrunn og i 1977 ble han utnevnt til ærespresident i det internasjonale romaniforbundet (Romano Internacionalno Jekhetanipe). I 1950-årene begynte Brynner å arbeide for FNs høykommissær for flyktninger og beskrev blant annet situasjonen for arabiske flyktninger i bok og TV-program.