Williams Carlos Williams ble født i Rutherford i New Jersey som sønn av en engelsk far, og en mor fra Puerto Rico med fransk, spansk og jødisk bakgrunn. Han gikk på skole i Rutherford frem til 1897 da han ble sendt først til en skole i Genève, og deretter til Lycée Condorcet i Paris. Etter to år på skole utenlands begynte han på Horace Mann High School i New York. Etter å ha bestått en særskilt prøve kom han i 1902 inn på legestudiet ved Universitetet i Pennsylvania. Williams tok medisinsk embetseksamen i 1906, og spesialiserte seg i pediatri. Fra 1910 praktiserte han som huslege, barnelege og fødselslege i sin fødeby, der han ble boende til sin død. Han hevdet med stolthet at han var den eneste amerikaner som hadde hatt den samme adressen i femti år.