和第一任妻子由美子结婚，育有一子一女，儿子渡边大也是演员，女儿杏是模特儿及演员。2005年离婚，同年与演员南果步结婚。2004年，他被美国《People》杂志评选为「50位最美丽人士」之一，并被评为日本中年演员四天王之一（其他三人为中井贵一、真田广之、佐藤浩市）。2017年3月，《週刊文春》的报导指渡边谦与某位比他年轻21岁的女子搞婚外情长达三年。2018年5月17日，渡边谦透过事务所宣布与南果步离婚。