Mikheil Gelovani est issu de l'illustre famille Gelovani, famille princière de Géorgie. Il nait dans le village de Lasuria du Gouvernement de Koutaïssi, alors sous Empire russe, aujourd'hui en Géorgie. Très tôt, il chante à l'église en tant qu'enfant de chœur. Passionné de spectacle, en hiver 1913, il participe à plusieurs représentations de la troupe du théâtre de Koutaïssi (aujourd'hui Théâtre Lado Meskhichvili). En 1919-1920, il suit une formation dans le studio d'art dramatique de Georgy Djabadari à Tiflis. Sa carrière d'artiste commence en 1924 à la société de production cinématographique Goskinoprom de Géorgie, dans le film "Trois vies" d'Ivan Perestiani. Il signe également quatre films en tant que réalisateur à Armenfilm entre 1928 et 1931. Il incarne Joseph Staline pour la première fois au théâtre, dans "D'une étincelle..." dans la mise en scène de Shalva Dadiani en 1937, puis, au cinéma dans "La Grande lueur" de Mikhaïl Tchiaoureli. Désormais c'est le seul rôle qu'il est appelé à jouer. Par la suite, quand le culte de la personnalité sera dénoncé par Nikita Khrouchtchev au XX congrès du Parti communiste de l'Union soviétique, en 1956, une bonne partie de séquences d'apparition de Gelovani seront supprimées des films. "Les Lumières de Bakou" (Огни Баку), œuvre d'Iossif Kheifitz et Alexandre Zarkhi sera censuré à deux reprises, pour en retirer les séquences montrant Lavrenti Beria en 1958, et celles avec Joseph Staline en 1968, mais finalement ne sortira pas sur le grand écran. Sa dernière apparition sous les traits de Staline en 1953, dans "Les Rafales hostiles" de Mikhaïl Kalatozov sera également supprimée. Parallèlement, Gelovani joue sur scène du Théâtre national Roustavéli (1936-1939). Il s'installe à Moscou et devient acteur du Théâtre d'art (1942-1948) et du Théâtre national d'acteur de cinéma (1954-1956).