Gayens vokste opp i Storbritannia, Frankrike og Sveits. Han studerte i Milano og opptrådte i Italia og Frankrike. Han flytte til USA etter andre verdenskrig. Han ble født i Helsinki som på den tiden var underlagt Det russiske keiserdømmet. Moren Iya Grigorievna de Gay var russisk. Faren Gerrit Jongejans var en nederlandsk forretningsmann. Skuespilleren Gregory Gaye var hans onkel. Han begynte som sceneskuespiller i New York rundt 1950 og gikk etter noen år over til TV.