נולדה בשנת 1795 בסקוטלנד. בגיל שנתיים התייתמה משני הוריה. היא ואחותה קמילה נשלחו להתגורר אצל קרובי משפחה באנגליה. בשנת 1813 חזרו האחיות להתגורר בסקוטלנד אצל דודן, ג'יימס מילן, שהיה פרופסור לפילוסופיה בקולג' גלאזגו. באותה תקופה קיבלה גישה לספריית הקולג' והתעניינה במיוחד בספרים בנושא ארצות הברית. בעקבות הקריאה החליטה להפליג למדינה כדי לראות כיצד התממשה הכרזת העצמאות הלכה למעשה. מילן היה מתנגד נחרץ לעבדות והדבר הותיר רושם רב על רייט הצעירה.