På en tur tilbake til sitt fødestedet Reading i 1904 møtte Stevens på sin fremtidige kone Elsie Viola Kach som arbeidet som stenograf. Han giftet seg med henne i 1909, til tross for de kraftige innvendingene fra hans foreldre, som betraktet henne som en kvinne fra lavere klasse. Som rapporterte i en artikkel i 2009, «Ingen fra familien hans deltok ved bryllupet, og Stevens besøkte aldri eller snakket aldri med hans foreldre iløpet av resten av sin levetid». Deres felles datter, Holly, ble født i 1924. Holly ga etter farens død ut en samling av hans dikt og brev som faren ikke hadde rukket å gi ut mens han levde.