Under andre verdenskrig tjenestegjorde han i Army Signal Corps fra 1941. Sidney Lumet og Gloria Vanderbilt var gift fra 1956 til 1963; han giftet seg på nytt med Gail Jones (datter av Lena Horne) i 1963.