સેનના પ્રથમ પત્ની નાબાનીતા દેવ સેન હતા, જેઓ લેખક અને સ્કોલર હતા, તેણી દ્વારા તેમના બે સંતાનો છે: અંતરા જેઓ પત્રકાર અને પ્રકાશક છે અને નંદના જે બોલીવુડ અભિનેત્રી છે. જ્યારે તેઓ 1971માં લંડનમાં ગયા ત્યારબાદ તુરત જ આ લગ્ન તુટી ગયા. 1973,માં તેમણે બીજા લગ્ન કર્યા, તેમની બીજી પત્ની ઈવા કોર્લોની જૂઈશ હતા,[૧૭] 1985માં પેટના કેન્સરના કારણે તેણી મૃત્યુ પામ્યા. તેણી દ્વારા તેમના બે સંતાનો છે, ઈન્દ્વાણી, જેઓ ન્યૂયોર્કમાં પત્રકાર છે અને કબીર, શેડી હિલ સ્કુલમાં સંગીત ભણાવે છે.