渡部さんは1993年にタレントのRIKACOさんと結婚、2人の男児をもうけますが2005年に離婚しています。離婚理由について渡部さんは「仕事に熱中しすぎる傾向がありまして、家族とのバランスがうまく取れなかった」とコメントしています。