Edmund unokaöccse, Ephraim bátyjának egyik fia, az 1836-ban született Joseph Lee Kirby Smith szintén katonai pályára lépett. Edmund amikor csak tehette, szerét ejtette, hogy New York állambeli otthonukat meglátogassa. Az ifjú Joseph Lee a háború előestéjén levélben kérte nagybátyja tanácsát. Edmund tudta, hogy anyja északi meggyőződésű nő és családja szintén északi. Joseph Lee-t semmi sem fűzte a Délhez. Edmund válaszában azt tanácsolta, hogy Joseph Lee döntését hozza meg maga, de azt tanácsolja, hogy maradjon meg az Egyesült Államok hadseregének szolgálatában, melynek topográfiai mérnöke volt főhadnagyi rangban. Joseph Lee csapatszolgálatra való áthelyezést kért, így áthelyezték Nathaniel P. Banks törzsébe a Shenandoah-völgybe, majd a 43., vagy 53. ohiói önkéntes gyalogezred parancsnoka lett. Edmund és Joseph Lee a háború ellenére és is szívélyes kapcsolatban maradtak - a front túloldalán. Joseph Lee harcolt a New Madridi ütközetben, a 10-es számú szigetért vívott ütközetben, részt vett a Fort Pillowhoz indított expedíción, Corinth ostrománál, a Iukai ütközetben. Az 1862. október 4-i második Corinthi ütközetben szerzett sebesülésébe október 12-én belehalt.