Selv om Williams var lege på fulltid, hadde han en fullverdig karriere som forfatter ved siden av. Han skrev både noveller, lyrikk, romaner, essayer og en selvbiografi, foruten at han arbeidet med oversettelser og hadde en utstrakt korrespondanse. Han skrev om kveldene, og tilbragte helgene i New York sammen med forfattervenner og kunstnere, blant andre avant-garde-kunstnerne Marcel Duchamp og Francis Picabia, og lyrikerne Wallace Stevens og Marianne Moore. Han fikk kontakt med imagistene, en anglo-amerikansk litterær retning som avviste poesiens følelses- og symbolladete uttrykk, og krevde presise og klare bilder. Selv begynte han å danne seg meninger om litteraturen som avvek fra oppfatningene til Ezra Pound og T.S. Eliot. Senere i livet dro Williams på turneer rundt om i USA hvor han leste dikt og holdt foredrag.