Kolarov exerce des responsabilités au sein de l'Internationale communiste (IC) : secrétaire général de cette organisation en 1922-23, il y représente le PCB de 1922 à 1943. En 1922, il fait partie du comité exécutif de l'IC et en est le secrétaire général de 1923 à 1924. En 1924, il est réélu au comité exécutif ainsi qu'au présidium de l'IC, fonction qu'il conserve jusqu'en 1943. Avec Georgi Dimitrov, il joue un rôle essentiel pour convaincre le Parti communiste bulgare d'organiser une insurrection conformément aux instructions du Komintern, et est membre du comité révolutionnaire qui lance ce soulèvement en septembre 1923. Cette tentative de révolution échoue et contraint Kolarov à fuir vers l'Union soviétique en passant par la Yougoslavie et l'Autriche. Il y reste pendant plus de vingt ans, et demeure un haut responsable de l'Internationale communiste, présidant les débats de l'organisme lors du 5e Congrès mondial de 1924. Il est réelu à son Présidium directeur lors des 5e, 6e et 7e Congrès.