W latach 1903–1915 uczył się w moskiewskiej szkole malarskiej, w 1915 został powołany do rosyjskiej armii, w 1925 wstąpił do Stowarzyszenia Artystów Rewolucyjnej Rosji. Początkowo pracował nad pejzażami, później zajął się portretowaniem i w tej dziedzinie zdobył uznanie partii komunistycznej. W latach 1929–1930 namalował płótno „Lenin na trybunie” i dzięki temu dziełu stał się znany. W 1933 namalował obraz „Wystąpienie Stalina na XVI Zjeździe WKP(b)”, w 1936 „Stalin wśród dowódców 1 Konnej Armii”, w 1938 „Stalin i Woroszyłow na Kremlu”, w 1939 „I. W. Stalin i A. M. Gorki w Gorkach”, a w 1943 obraz „Hymn Październikowi”. W latach 1938–1939 namalował dużą liczbę portretów Stalina, uznanych potem za kanoniczne. W 1945 namalował obrazy „Teherańska Konferencja Przywódców Trzech Wielkich Mocarstw” i „Moskiewska Narada Ministrów Spraw Zagranicznych Trzech Wielkich Mocarstw”, a w latach 1945–1947 „Portret I. W. Stalina”. W 1947 objął kierownictwo Akademii Sztuk Pięknych ZSRR, które sprawował do 1957. W 1948 stworzył „Portret K.J. Woroszyłowa” i „Portret W. M. Mołotowa”, a w 1949 obraz „Stalin na grobie A.A. Żdanowa”, w 1950 został członkiem WKP(b), 1950–1951 wraz z pracownią Akademii Sztuk Pięknych stworzył obraz „Wielka Klątwa” o wystąpieniu Stalina na 2 Zjeździe Rad. Był ulubionym malarzem Stalina. Po śmierci Stalina wpływy Gierasimowa zaczęły maleć, a po XX Zjeździe KPZR został on odsunięty od spraw Akademii. Był odznaczony Orderem Lenina i dwoma innymi orderami. Czterokrotnie otrzymał Nagrodę Stalinowską - w 1941, 1943, 1946 i 1949. Został pochowany na Cmentarzu Nowodziewiczym.