استوارت در تاریخ ۶ نوامبر ۱۸۶۶ در کشتزاری بنام لائورل هیل فارم در شهرستان پاتریک، ویرجینیا در نزدیکی مرز کارولینای شمالی زاده شد. نیاکان وی از مهاجران اسکاتلندی و ایرلندی بودند. او هشتمین فرزند از یازده فرزند خانواده و جوانترین برادر در میان پنج پسر خانواده بود. پدربزرگش سرگرد الکساندر استوارت در طول جنگ انقلابی آمریکا، یکی از سرکردگان نیروهای انقلابی در نبرد گیلفورد کورت هاوس بود. پدرش آرچیبالد استوارت یک برده دار، وکیل، سیاست‌مدار وابسته به حزب دموکرات، عضو انجمن ایالتی ویرجینیا، عضو مجلس نمایندگان ایالات متحده آمریکا و یکی از کهنه سربازان جنگ ۱۸۱۲ بوده‌است. مادرش الیزابت لیچر پنیل استوارت، زنی مذهبی و سختگیر بوده که مدیریت خانواده و کشتزارهای محل درآمدشان را به‌خوبی اداره می‌کرد.