Klugman var gift med skuespiller Brett Somers fra 1953 og til hennes død i 2007. Paret separerte seg i 1974, men ingen av dem tok ut skilsmisse på alle disse årene. I 2008 giftet han seg med Peggy Crosby som hadde vært hans samboer over flere år.