I 1874 giftet O'Connell seg med Annie Ashley, datter av senatoren Delos R. Ashley som døde året før. Med henne fikk han syv barn. Deres ekteskap ble av en nær venn beskrevet som et perfekt forhold «med felles smak og gutt-og-pike kjærlighet». Med deres syv barn som elsket sin far, ble O'Connells hjem kjent som en «liten verden hvor kjærlighet hersket». En av datterne, Gipsy O'Connellone, gav senere uttrykk for at hennes favoritt blant hennes fars dikt var «Sing Me A Ringing Anthem» fra .