Clifford ble etter hvert kjent både for sin sjarm, stil og diskrete måte å arbeide på. I 1980 tjenestegjorde han som USAs utsending i India, utnevnt av president Jimmy Carter. I 1991 ble Clifford innblandet i BCCI–skandalen, som gikk ut på at han hadde profittert seks millioner dollar på bankaksjer han hadde kjøpt gjennom et lån fra samme bank. Han ble likevel ikke tiltalt i sammenheng med skandalen på grunn av sviktende helse.