Tankian er mest kjent som vokalist i bandet System of a Down, der han også spiller keyboard og gitar på enkelte sanger. Han startet bandet sammen med Daron Malakian etter at Soil ble splittet. Shavo Odadjian, som var manager fra tiden i Soil ble med som bassist da Malakian og Tankian bestemte seg for å lage et nytt band med navnet «Victims of a Down», etter et dikt Malakian hadde skrevet, men Odadjian syntes at var et mye sterkere ord, og bandet ble derfor kalt System of a Down. Ontronik «Andy» Khachaturian ble med på trommer. Etter tre år ble Khachaturian byttet ut med John Dolmayan, fordi Khachaturian hadde skadet hånden. Tankian har gitt ut fem album sammen med System of a Down og fem soloalbum.