Kady ble født i 1842 i et telt i en britisk arméleir i Kaffraria i Sør-Afrika som datter av en fransk mor og en skotsk far. Hennes far, oberst George Southwell, var ute på manøver på den tiden. Hun ble oppkalt etter farens venn, Sir James Kady. Hennes skrøpelige mor døde kort tid etter fødselen. Kady ble oppdratt av ekteparet Duncan og Alice McKenzie fram til de innvandret til Providence i Rhode Island, hvor hun ble oppdratt av familie og venner. I begynnelsen av 1860-årene arbeidet Kady som veverske i Central Falls, hvor hun møtte Robert Browenell, som hun giftet seg med i april 1861.