Chambers ble født i Philadelphia, Pennsylvania, og tilbragte sin barndom i Brooklyn. Hans familie flyttet til Lynbrook, Long Island, New York i 1904 og vokste opp og gikk på skole der. Hans foreldre var Jay Chambers og Laha (Whittaker). Chambers beskrev sin barndom som problemfylt på grunn av foreldrenes separasjon og at de måtte ta hånd om deres mentalt syke bestemor. Chambers' bror begikk selvmord kort tid etter sitt første år på college. Chambers tilgav sin brors problemfylte liv og tilslutt selvmord som en av flere grunner til at han ble tiltrukket av kommunismen som ung.