其弟谢家礼曾是武打演员刘家辉的中学同学。
背景.谢贤家有八兄弟姊妹，自己排行第四。其祖父谢焜彝于中国广东番禺经营银号生意，是番禺名士和广华医院董事（1920年）。及后因战乱问题而移居香港。谢贤早年毕业于九龙丽泽小学，16岁时于丽泽中学完成中学课程。其姑母是该校校董；他本人不喜欢读书。在朋友介绍下，他于1953年考入岭光公司演员训练班，翌年转投迪华公司，拍了首部电影《楼下闩水喉》，自此名气日增。谢到岭光公司面试时由林翠和秦剑伉俪面见。直至1956年，秦剑与新加坡的何姓商人合组「光艺电