Harold Brown ble født i Brooklyn som sønn av Abraham, en jurist som hadde kjempet i første verdenskrig, og Gertrude (Cohen) Brown, regnskapsfører for en diamanthandler. Foreldrene hadde jødisk bakgrunn og var tilhengere av Franklin D. Roosevelt.