Goglidzé naît dans la région de Koutaïssi en Géorgie. Il rejoint la Tchéka (devenue Guépéou ensuite NKVD) en 1921 et après y avoir servi dans les troupes de gardes-frontières, il est nommé en 1934 commissaire du peuple aux affaires intérieures d'abord de la RSFS de Transcaucasie, ensuite en 1937 de la République socialiste soviétique de Géorgie. Membre candidat du Comité Central du Parti communiste de l'Union soviétique, il fut élu député du Soviet suprême en 1937. En Novembre 1938, il est assigné à la tête du NKVD de la région de Léningrad avec pour tâche de le purger après le renvoi de Nikolai Iejov. En 1941 il est envoyé en Bessarabie annexée où il supervisa la déportation des populations jugées "anti-soviétiques". En juillet 1941, après l'invasion allemande, il est nommé à Khabarovsk dans l'extrême-orient russe comme responsable régional du NKVD. En 1951, il est promu comme vice-ministre de la sécurité d'état (MGB) où il se chargea notamment de l'instruction de l'affaire du "complot des blouses blanches".