Hiffernan was rooms-katholiek; geboren in Ierland in 1843 als dochter van Patrick Hiffernan en Katherine Hiffernan, geboortenaam Hickey. Zij en haar familie verhuisden wellicht vanuit Ierland naar Londen tijdens de Ierse hongersnood van 1845 tot 1848. Ze betrokken een woning in Newman Street 69. Uit de spelfouten in haar nagelaten brieven blijkt dat ze een bescheiden opleiding genoot. Haar vader, Patrick Hiffernan, werd door Whistlers vrienden, Joseph Pennell en zijn vrouw Elizabeth, omschreven als 'Kapitein Costigan', de dronken Ier uit de roman "The History of Pendennis" van William Makepeace Thackeray. De Pennells beschreven hem eveneens als 'een leraar in beleefde chirografie (kalligrafie)' die over Whistler sprak als 'mijn schoonzoon'. Hiffernans moeder overleed in 1862 op 44-jarige leeftijd. De kunstenaar Walter Greaves, die in 1863 les kreeg van Whistler, en die Hiffernan goed kende, vertelde dat ze een zoon had die Harry heette, maar er is geen spoor van hem te vinden in de officiële archieven.