Rajusta keuhkokuumeesta toivuttuaan 1977 Ellroy liittyi Anonyymeihin alkoholisteihin, raitistui ja hankki työn golfapulaisena. Hän alkoi kirjoittaa ja julkaisi esikoisromaaninsa "Brown's Requiemin" 33-vuotiaana vuonna 1981. Seuraavat viisi romaania saavuttivat kohtalaista arvostelu- ja yleisömenestystä, mutta kuuluisuuteen Ellroy nousi vasta vuonna 1987 teoksellaan "Musta Dahlia", joka oli Elizabeth Shortin murhan ympärille rakennettu L.A. -kvartetin avausosa. Kvartetin viimeisteltyään Ellroy kirjoitti Kennedyn murhaa käsittelevän tiiliskiviromaanin "Amerikan tabloidi" ("American Tabloid", 1995), joka aloitti uuden "Yhdysvaltain alamaailma" -trilogian.