Leda Richberg-Hornsby ble født i november 1886 i Chicago som den yngste av tre barn til Eloise Olivia Richberg og John Carl Richberg. Hennes mor var lege, professor, forfatter og suffragist. Hennes mormor, Marenda Briggs Randall, var også lege og suffragist. Hennes far var advokat som tjenestegjorde i fire år som president i Chicago Board of Education. I hans tid som president ble det gjennomført lik lønn for kvinnelige pedagoger og avskaffet lesing av Bibelen i skoler. Richberg-Hornsbys eldre bror, Donald Randall Richberg var advokat og medlem av Franklin D. Roosevelts regjering.