John Arbuthnot Fisher var den eldste av elleve barn. Faren var kaptein William Fisher, offiser i British Army.