Jako mladý byl Benjamin Harrison V. popisován jako „vysoký a dobře stavěný“, s „pěknými rysy a dobře tvarovanými ústy nad výraznou bradou“. Jeho bratr Carter Henry se stal leadrem v kraji Cumberland; bratři Henry a Robert zemřeli mladí. Bratr Nathaniel se usadil v kraji Prince George County, stal se šerifem a později byl zvolen do House of Burgesses. Bratr Henry bojoval ve francouzsko-indiánské válce a později se usadil v Hunting Quarter v Sussex County ve Virginii. Bratr Charles se připojil ke kontinentální armádě a byl povýšen do hodnosti brigádního generála.