Peter Cooper ble adoptert av foreldre av nederlandsk, engelsk og hugenottisk bakgrunn, og var det femte barnet til John Cooper, en metodistisk hattemaker fra Newburgh i New York Han gikk bare kort tid på skole, og i lære hos en hestedrosjebygger og lærte også å bygge skap, lage hatter, brygge øl og selge dagligvarer.