Bagramyan ble født av armenske foreldre i landsbyen Chardakhlu, i nærheten av Yelizavetpol i Aserbajdsjan som den gang var en del av det russiske imperiet. Han var, Khachatur, arbeidet på jernbanestasjonen i Yelizavetpol, mens hans mor, Mariam, var hjemmeværende for å ta vare på deres syv barn.