Isabella Dinsmore Selmes var datter av Tilden Russell Selmes (1835–1895) og Martha «Patty» Macomb Flandrau (1861–1923). Isabella hun ble født i det historiske Dinsmore Homestead i Boone County i Kentucky, som tilhørte morens grandtante på morsiden Julia Stockton Dinsmore (1833–1926). Tilden Selmes var juridisk direktør for Northern Pacific Railroad. Patty Flandrau var datteren til dommeren og politikeren Charles Eugene Flandrau (1828–1903) fra Minnesota og hans første kone Isabella Ramsay Dinsmore (1830–1867).