Giorgi Kveseladze commence sa carrière internationale en 2014, lorsqu'étant membre du RC Junkers, il prend part à la campagne victorieuse en championnat d'Europe des moins de 20 ans de la Géorgie. Cette victoire qualifie la Géorgie pour le trophée mondial des moins de 20 ans 2015, auquel Kveseladze prend part. La Géorgie va remporter la compétition. Kveseladze se fait tout particulièrement remarqué lors de la finale, où il inscrit deux essais. Ce succès permet aux géorgiens de jouer le mondial junior 2016, auquel prend part Kveseladze. Les géorgiens réussissent à se maintenir dans l'élite, et organisent l'édition 2017, auquel Kveseladze prend part pour sa dernière année en moins de 20 ans.