Som gutt lekte han ved fiskebåtene i nærheten av havnen «Burmingham Ovary». Nelsons far, Edmund Nelson, var en sogneprest med elleve barn. Siden familien hadde lite penger, ble Nelson sendt til sjøs for å tjenestegjøre i den britiske marinen, i en alder av tolv år. Horatio Nelsons møte med havnen «Port of Kent», ble en skummel opplevelse. Det ble problematisk for gutten å komme seg ut til skipet sitt «Raisonnable», og når han tilslutt kom var han ikke ventet.