Etter at han flyttet til California i 1966, har han bodd i delstaten, først i Topanga, deretter på -ranchen mellom La Honda og Kings Mountain i San Mateo County sør for San Francisco. Young har hele livet slitt med ettervirkningene av både polioangrepet som barn og epilepsi. Han har fått tre barn, den eldste, sønnen Zeke fikk han med skuespilleren Carrie Snodgress i 1973. Zeke arbeider i dag som lydtekniker innen film og musikk, blant annet på enkelte av farens prosjekter. Zeke har en mild utgave av cerebral parese, men Youngs neste barn, sønnen Ben som han fikk med Pegi Young i november 1978, er sterkt rammet av den samme sykdommen og trengte stor oppfølging fra begge foreldrene. I tillegg ble Pegi på samme tid rammet av en hjernesvulst, og disse familiære påkjenningene tok for en periode Youngs fokus bort fra musikk. Sjansene for å få barn med cerebral parese er cirka 2,5 av 1000, og sannsynligheten øker ikke når man allerede har fått et barn med sykdommen. Neil Young var en periode plaget av forestillingen om at han hadde en forbannelse over seg, og dette har gitt næring til en oppfatning om at dette var bakgrunnen for de noe spesielle albumene han ga ut på denne tiden. Albumet fra 1982 er kjennetegnet av at Neil Young fremfører flesteparten av sangene gjennom voicerecorderen han bruker for å kommunisere med sønnen Ben. Sangen «Transformer Man» handler direkte om denne kommunikasjonen, og er tilegnet sønnen. I 1984 fikk Young datteren Amber Jean som ikke er rammet av cerebral parese, men derimot epilepsi i likhet med faren.