Edmund Kirby Smith 1824. május 24-én született a floridai St. Augustine-ban, Joseph Lee Smith és Frances Kirby Smith gyermekeként. Mindkét szülője a connecticuti Litchfieldből származott, ahol idősebb gyermekeik születtek. Jogász apja az brit–amerikai háborúban (1812) a hadsereg tisztjeként szolgált és csak 1821-ben szerelt le a hadseregtől, több évvel a háború vége után. Ugyanebben az évben a család a Spanyolországtól frissen megszerzett Floridába költözött és Joseph a Florida Territórium keleti körzete Legfelsőbb Bíróságának bírája lett. Apai nagyapja Elnathan Smith volt, a Hétéves háború és a Függetlenségi háború tisztje, apai nagyanyja pedig Isaac Lee ezredes lánya. Frances annak az Ephraim Kirbynek a lánya volt, aki tizennyolc évesen az Amerikai függetlenségi háború alatt belépett a Kontinentális hadseregbe és tizenkilenc ütközetben tizennyolcszor megsebesülve végül ezredesként szerelt le. Ephraim civilben jogász lett és barátja, Reynold Marvin Ruth nevű lányát feleségül véve három gyermeket nemzett, akik közül lánya, Frances Marvin Kirby nőül ment Joseph Lee Smith jogászhoz. Két fia, a jövendő Edmund Kirby Smith nagybácsikái, Edmund Kirby és Reynold Marvin Kirby névre hallgattak.