Nelson var søn af en læge og blev født nær Maysville, Kentucky, og gik på Norwich Academy. Han blev indrulleret i flåden som kadet den 28. januar 1840, og havde frem til 1855 opnået rang af løjtnant. Mens han var i flåden havde han kommandoen over et batteri i Belejringen af Veracruz i 1847. Han gjorde tjeneste i Middelhavet og Stillehavet og i 1858, som kaptajn på "Niagara", transporterede han en gruppe negre, som var blevet reddet fra slaveskibet "Echo" til Afrika. Ved udbruddet af Borgerkrigen fik han kommandoen over kanonbådene på Ohiofloden.