Родился в остзейской аристократической семье Адама фон Моллера (нем.: Adam v. Möller) (12.07.1772, поместье Анненгоф (Вырумаа) – 3.03.1813, Митау) и его жены Марии Элизабет ур. фон Румм (нем.: Maria Elisabeth v. Rumm) (1775, Ревель — ?). В молодые годы после окончания Морского корпуса отец служил на флоте, гардемарином участвовал в Русско-шведской войне 1788—1790 гг. и даже отличился в Гогландском и Ревельском сражениях. Он вышел в отставку лейтенантом в 1799 году, когда ему было всего 27 лет, но, видимо, позже сумел привить сыну интерес к флотской службе. Получившего начальное образование двенадцатилетнего Александра отец привёз в Санкт-Петербург, где тот по экзамену 18 февраля 1814 года был зачислен в Морской кадетский корпус.