，年轻人称其为「谢老四」，老一辈人则以其花名「阿肾」称之（取「贤」与「肾」两字形近）。谢贤为香港赛马会会员，曾育有马匹「游戏人生」。其弟谢家礼曾是武打演员刘家辉的中学同学。
背景.谢贤家有八兄弟姊妹，自己排行第四。其祖父谢焜彝于中国广东番禺经营银号生意，是番禺名士和广华医院董事（1920年）。及后因战乱问题而移居香港。谢贤早年毕业于九龙丽泽小学，16岁时于丽泽中学完成中学课程。其姑母是该校校董；他本人不喜欢读书。在朋友介绍下，他于1953年考入岭光公司演员训练班，翌年转投迪华公司，