אדולף בורי נולד ב-25 בנובמבר 1809 בפילדלפיה כבן בכור למשפחה בת 12 ילדים. אביו היה ג'ון ג'וזף בורי, מהגר צרפתי שמוצא משפחתו היה מבורדו, סוחר ותעשיין שהתיישב בפילדלפיה. אמו, סופיה בובו, הייתה פליטה מהאיטי, בתו של בעל מטעים עשיר שנמלט לארצות הברית בעקבות מרד העבדים בהאיטי.