Pocházel z uherské šlechtické rodiny, narodil se jako mladší syn hraběte Ludvíka (Lájose) Károlyiho (1799–1863), c.k. tajného rady, komořího a vrchního župana v Nitře. Matka Ferdinandina (1805–1862) pocházela z významného moravského rodu Kouniců a byla jednou z dědiček posledního knížete Kounice, Aloise Václava. Alois Károlyi vstoupil do diplomatických služeb v roce 1845 a vystřídal nižší funkce v několika evropských metropolích, působil například v Berlíně a Londýně. V roce 1858 byl vyslán se zvláštní diplomatickou misí do Petrohradu, kde měl vyjednat ruskou podporu před rakousko-italskou válkou. Po návratu z Ruska byl krátce vyslancem v Kodani (1858-1859). V letech 1859–1866 byl vyslancem v Berlíně, kde jeho mise skončila v červnu 1866 s vypuknutím prusko-rakouské války. Po skončení války byl delegátem na mírových jednáních v Mikulově. Znovu zastupoval monarchii v Berlíně v letech 1871–1878, tentokrát již s titulem velvyslance. V roce 1878 byl rakousko-uherským delegátem na Berlínském kongresu. Nakonec byl rakousko-uherským velvyslancem v Londýně (1878–1888). Byl též c.k. tajným radou, komořím a v roce 1878 obdržel Řád zlatého rouna. Krátce po návratu z Londýna zemřel na slovenském zámku Palárikovo (tehdy pod názvem Tótmegyer), který jeho rodině patřil do roku 1945. Jeho dalším majetkem byl zámek Stupava.