Kemurdžian sa narodil roku 1921 vo Vladikavkaze, kde sa zrovna nachádzali jeho rodičia počas občianskej vojny. Väčšinu detstva prežil v Baku. V roku 1940 začal študovať v Moskve na Baumanovej vyššej technickej škole. V roku 1942 sa prihlásil ako dobrovoľník do červenej armády. Bojoval v druhej svetovej vojne ako letec. V rokoch 1943 - 1945 sa zúčastnil viacerých bojových operácií od bitky pri Kursku po boje v Pomoransku.