Η καταγωγή του ήταν από την επαρχία Τριπολιτσάς. Η οικογένειά του (οικογένεια Μπάρμπογλου ή Μπάρμπογλη ή Βάρβογλη) ήταν ιστορική οικογένεια των Σερρών ήδη από την εποχή της Άλωσης της Κωνσταντινούπολης, η οποία διασκορπίστηκε στη Ρωσία, την Κωνσταντινούπολη και τη Βενετία. Στην Πελοπόννησο έφτασαν κάποια μέλη της οικογενείας κατά τις στρατιωτικές επιχειρήσεις (1684-1688) του Φραντζέσκο Μοροζίνι, που απελευθέρωσε την Πελοπόννησο από τους Οθωμανούς. Στο στρατό του Φ. Μοροζίνι υπηρετούσε ο Κωνσταντίνος Βάρβογλης ως αξιωματικός και ο γιος του Αλέξανδρος που έμεινε τελικά στην Τριπολιτσά. Ο Παναγιώτης Βάρβογλης (ένας από τους απογόνους του Αλέξανδρου) ήταν ο παππούς του Γεωργίου Γ. Βάρβογλη. Ο πατέρας του, επίσης Γεώργιος γεννήθηκε στην Τριπολιτσά το 1734 και αφού έλαβε τα πρώτα του γράμματα εκεί, μετέβη στις Σέρρες όπου ανέλαβαν τη μόρφωσή του, οι εκεί συγγενείς του. Αργότερα ασχολήθηκε με το εμπόριο στην Οδησσό, όπου απέκτησε μεγάλη περιουσία και στη συνέχεια επέστρεψε στην Τριπολιτσά. Μετά την αποτυχημένη επανάσταση του 1769, οι Τούρκοι τον ανασκολόπισαν μαζί με άλλα μέλη της οικογενείας του, κατέστρεψαν την οικία του και δήμευσαν την περιουσία του. Έτσι ο μικρός Γεώργιος έζησε τα πρώτα του χρόνια στο πατρικό σπίτι της μητέρας του, στη Βυτίνα. Από εκεί ο Γεώργιος Γ. Βάρβογλης ανέπτυξε σπουδαία εμπορική και επιχειρηματική δράση και κατάφερε να γίνει προεστός της Τριπολιτσάς.