Anthony Martin Branch, eines von zehn Kindern von Winnifred Guerrant und Samuel Branch III., wurde ungefähr acht Jahre nach dem Ende des Britisch-Amerikanischen Krieges im Buckingham County geboren und wuchs dort auf. Er graduierte 1842 am Hampden-Sydney College. Seine Studienzeit war von der Wirtschaftskrise von 1837 überschattet und die Folgejahre vom Mexikanisch-Amerikanischen Krieg. 1847 zog er nach Texas und ließ sich in Huntsville (Walker County) nieder. Dort gründete er mit Henderson King Yoakum (1810–1856) eine Anwaltskanzlei und verkehrte in der Folgezeit viel mit Sam Houston (1793–1863). Nach dem Tod von Houston fungierte er als sein Testamentsvollstrecker seines letzten Willens und Vormund seiner Kinder. Branch heiratete am 18. März 1849 Amanda Melvina Smith (1829–1867), Tochter von Sarah Jane Long (1790–1874) und Samuel Smith (1785–1840). Er wurde 1850 zum Bezirksstaatsanwalt im siebten Gerichtsbezirk gewählt. 1859 vertrat er seinen Bezirk im Repräsentantenhaus von Texas. Ein zeitgenössischer Biograph beschrieb ihn folgendermaßen: