Su padre, Thomas Sullivan (1805-1866) era un director de banda militar, clarinetista y maestro de música nacido en Irlanda, pero criado en los suburbios de Chelsea, Londres, y Mary Clementina ("née" Coghlan, 1811-1882), inglesa de nacimiento, pero con ascendencia irlandesa e italiana.