Janet Louise Yellen ble født 13. august 1946 i Brooklyn, New York. Yellen vokste opp i bydelen Bay Ridge i Brooklyn i New York. Hennes mor var Anna Ruth (født Blumenthal; 1907–1986) som var folkeskolelærer. Faren var Julius Yellen (1906–1975). Han var familielege med praksis fra førsteetasje i familiens hjem. Moren sluttet som lærer for å ta seg av Janet og hennes storebror John.