Brady ble født 18. mai 1822 i Warren County i New York nær Lake George. Han var yngst av tre barn. Foreldrene var Andrew og Julia Brady. De var irske immigranter. Brady flyttet til Saratoga i New York da han var 16 år gammel. Der møtte han den berømte portrettmaleren William Page. Brady ble studenten til Page. I 1839 reiste de til Albany i New York, og så til New York City. Brady fortsatte å studere maleri med Page der, og også med Pages tidligere lærer Samuel Morse. Morse hadde møtt Louis Jacques Daguerre i Frankrike i 1839 og dro tilbake til USA for å spre budskapet om den nye fotograferingsmetoden daguerreotypiet. Hans medvirkning på 1840-tallet var først å produsere læresker til daguerreotypier. Men han ble snart midtpunktet i en kunstnerkoloni i New York som ønsket å studere fotografi. Han åpnet studio og ga opplæring. Brady var en av hans første studenter. I 1844 åpnet Brady fotostudio i New York, og i 1845 stilte han ut portretter av berømte amerikanere. Han åpnet studio i Washington D.C. i 1849, og der møtte han Juliet (som alle kalte «Julia») Handy. Han giftet seg med henne i 1851. Bradys første bilder var daguerreotypier. Han fikk mange priser for arbeidet sitt. På 1850-tallet ble fotograferingsmetoden ambrotypi populært. Det banet vei for albuminfotografiet, et papirfotografi laget fra store negativer av glass. Denne fotograferingsmetoden var vanlig å bruke under den amerikanske borgerkrigen. I 1850 lagde Brady The Gallery of Illustrious Americans, en portrettsamling av kjente folk fra denne tiden. Albumet inneholdt blant annet et foto av den aldrende Andrew Jackson i sitt hjem The Hermitage. Fotoet førte til at folk ble oppmerksom på Brady som kunstner. Den parisiske fotografen André-Adolphe-Eugène Disdéri gjorde carte de visite populært i 1854. Carte de visite er små fotoer på størrelse med et visittkort. De ble raskt en populær nyhet. Tusenvis av disse kortene ble laget og solgt i USA og Europa.