James Roosevelt Bayleys farfar, dr. Richard Bayley, professor på Columbia College, og den som skapte New Yorks karantenesystem. Dr. Bayley hadde tre barn med sin første hustru; et av dem var Elizabeth Ann Seton, som ble helligkåret i 1975 som den første amerikanskfødte katolske helgen. Etter at hans første kome døde giftet dr. Bayley seg med Charlotte Amelia Barclay, medlem av Rooseveltfamilien, og paret fikk syv barn. Det sjette av dem var erkebiskop Bayleys far, Guy Carleton Bayley, født i 1786. Guy Carleton Bayley var likesom sin far lege; han giftet seg sin med sin seks år yngre tremenning Grace Roosevelt, den 4. november 1813. Grace Roosevelt var datter av Jacobus Roosevelt og Maria Eliza Walton, og hennes bror Isaac Roosevelt var bestefar til senere president Franklin D. Roosevelt, hvorved han ble søskenbarn til president Roosevelts far James Roosevelt I, og noe fjernere beslektet med senere president Theodore Roosevelt.