Летом 1830 года Роберт Ли вернулся из Саванны и стал чаще навещать Арлингтон. Время от времени он сопровождал Мэри Энн в , владения ее матери во Фредериксберге. «Когда Мэри уезжала в Четем, Ли тоже приезжал туда, и когда они сидели под деревом на лужайке, он говорил ей всё то, что делает любого жениха красноречивым. Под ними струился Раппаханок, за ним виднелись шпили маленького городка Фредериксберга, а за городом тянулась гряда холмов: один из них был покрыт лесом, а на другом виднелась небольшая усадьба. Даже будучи солдатом, Ли содрогнулся бы от мысли, что придёт день, когда он будет стоять на вершине одного из этих холмов с подзорной трубой и пытаться рассмотреть сквозь орудийный дым это самое дерево». Отец Мэри не имел ничего против Ли лично, но знал о непростом финансовом положении его семьи и не хотел, чтобы его дочь связывала свою судьбу с человеком, у которого нет ничего, кроме жалованья второго лейтенанта. Мать Мэри относилась к выбору дочери более благосклонно. Осенью (вероятно, в сентябре) Ли приехал к Кастисам в тот момент, когда Мэри читала родителям роман Вальтера Скотт. Миссис Касти сказала: «Мэри, Роберт наверняка устал и голоден. Пойди в столовую и сделай ему ланч». Мэри и Роберт прошли в столовую, где у буфета он сделал ей предложение и получил согласие. Отец нехотя дал согласие на брак. Свадьбу назначили на 30 июня 1831 года в Арлингтоне.