Tchakarian wurde in der Türkei in eine armenische Familie geboren, die vor den Verfolgungen durch türkische Nationalisten erst nach Bulgarien, wo Arsène Tchakarian zur Schule ging, und 1930 nach Frankreich floh. In Paris machte er dann eine Schneiderlehre.