Miliband var eldste sønn av den polskfødte Marion Kozak og Ralph Miliband, statsviter og marxistisk teoretiker med polsk-jødisk opphav.