Asa Brigham, Sohn von Mary Rice und Lewis Brigham, wurde 1788 im Middlesex County geboren. Über seine Jugendjahre ist nichts bekannt. Am 9. Dezember 1810 verkündete er und Elizabeth Swift Babcock in Watertown (Middlesex County) ihr Aufgebot für ihre bevorstehende Eheschließung. Von 1810 und 1816 lebte er in Lunenburg (Worcester County) und war als Schneider tätig. Der Britisch-Amerikanische Krieg überschattete diese Jahre. Bei einem Brand im Jahr 1816 entging er dem Tod, verlor aber sein Geschäft. Danach zog er nach Louisiana und ließ sich in Alexandria (Rapides Parish) nieder. Zum Zeitpunkt als er im April 1830 in Texas ankam von Louisiana aus, war er verheiratet und hatte zwei Söhne, Samuel und Benjamin, sowie eine verheiratete Tochter namens Adeliza Lewis Brigham. Im Dezember 1830 wurde er zum "síndico procurador" im Stadtbezirk von Victoria gewählt und ein Jahr später zum "comisario" im demselben Stadtbezirk. Daneben wurde er 1831 in den Brazoria District Board of Health berufen.