祖父刘北鸿是台南地区的大地主，先祖为清朝举人。父亲翁炳荣为台湾早期重要的媒体推手。兄长翁祖模是建筑师，曾设计教育部体育署体育联合办公大楼、宏总亚太财经广场、台湾高铁台中站。
生平.1951年，翁倩玉1岁时，翁炳荣担任中国广播公司驻日本代表，翁倩玉随之开始在日本生活。在一个偶然的机会里，翁倩玉进了东宝株式会社；翁炳荣给她语言训练，教她唱中文歌，并且亲自作词。翁倩玉8岁时，进入东京向日葵剧团。翁倩玉13岁时，演出美国与日本合作的电影《大波浪》（"The Big Wave"，改编