Συνέπεια της Μικρασιατικής Καταστροφής του 1922 ήταν μεταξύ των προσφύγων να καταφύγουν στην Ελλάδα και περίπου 50.000 Κωνσταντινουπολίτες. Μέσα σε λίγα χρόνια με διαμορφωμένη πλέον τη νέα πολιτική, κοινωνική και οικονομική κατάσταση σε Αθήνα και Κωνσταντινούπολη, πολλοί από αυτούς ένιωσαν την ανάγκη της δημιουργίας μιας εστίας συνάντησης, ανταλλαγής σκέψεων, διατήρησης και συνέχισης των παραδόσεων και μεταλαμπάδευσης των ηθών και εθίμων τους.

Την Κυριακή 29 Ιανουαρίου 1928, ορισμένοι Κωνσταντινουπολίτες συγκεντρώνονται στο Δημοτικό Σχολείο Αρρένων της Καλλιθέας και υπογράφουν το ιδρυτικό κείμενο του **Συλλόγου Κωνσταντινουπολιτών**.

Η πρώτη Γενική Συνέλευση συγκλήθηκε στις 5 Φεβρουαρίου 1928, με πρόεδρο τον καθηγητή Ιωάννη Ασπριώτη, διδάσκαλο και μέλος του Φιλολογικού Συλλόγου Κωνσταντινουπόλεως. Πρόεδρος του πρώτου Διοικητικού Συμβουλίου εκλέγεται ο Κωνσταντίνος Ζαννής και τα εγκαίνια των γραφείων γίνονται στις 6 Μαΐου 1928 με ομιλητή τον δημοσιογράφο Κων. Μακρίδη.

Προτεραιότητα αποτελούν οι συζητήσεις περί των ελληνοτουρκικών θεμάτων και ορίζεται εκπρόσωπος του Συλλόγου ο δικηγόρος Μιχάλης Θεοτοκάς, προσωπικός φίλος του Ελευθέριου Βενιζέλου. Παράλληλα με αυτές τις δραστηριότητες γίνονται και ψυχαγωγικές εκδηλώσεις. Το ίδιο έτος ξεκινά και η αγορά οικοπέδου επί της οδού Δημοσθένους 117 στην Καλλιθέα για την ανέγερση ιδιόκτητης στέγης που ολοκληρώνεται το 1931. Εν συνεχεία το 1936 γίνεται επέκταση του κτιρίου, όπου ο Σύλλογος συνεχίζει μέχρι σήμερα την δράση του.

Μεταξύ των ευεργετών και μεγάλων δωρητών για την ανέγερση διακρίνονται τα ονόματα των Ελ. Βενιζέλου, Δημ. Αναγνώστου (Κοινοτάρχης Καλλιθέας), Ευγ. Ευγενίδη, Λέοντα Ιασωνίδη, Αντ. Φιξ, Συμεών Σινιόσογλου, Διον. Λοβέρδου (Ιδρυτής της Λαϊκής Τράπεζας), Ιωαν. Λιβανού, Γ. Ζαρίφη, Ι. Αραπάκη (Δήμαρχος Καλλιθέας), Εθνικής Τράπεζας, του Υπ. Παιδείας και της Τράπεζας Αθηνών.

Με την ολοκλήρωση του κτίσματος ιδρύονται μέσα στο Σύλλογο πολυϊατρείο, συσσίτιο, αθλητικά τμήματα, βιβλιοθήκη, Λαϊκό Πανεπιστήμιο, τμήμα παράδοσης νυχτερινών μαθημάτων και ξένων γλωσσών.
Το Ιατρείο συνέχισε την δράση του έως και τις αρχές της δεκαετίας του '60 και επαναλειτούργησε κατά το διάστημα 1970-1975, προσφέροντας ιατρικές υπηρεσίες στους απόρους, ενώ το τμήμα της Φιλανθρωπίας συνεχίζει μέχρι σήμερα το έργο του με την ονομασία « Κοινωνική Αλληλεγγύη».

Με τη δωρεά του Περ. Αγγελίδη ιδρύεται βιβλιοθήκη που συνεχίζει να εξυπηρετεί μελετητές ερευνητές και σπουδαστές σε θέματα που αφορούν την Κωνσταντινούπολη και την Εγγύς Ανατολή. Με τις απελάσεις του 1964 και την έλευση των νεοπροσφύγων, παρουσιάζονται προβλήματα ενημέρωσης και καθοδήγησης σε θέματα φοιτητικά, συνταξιοδοτικά, απόκτησης Ελληνικής υπηκοότητας, στρατολογίας κ.α. 

Με την άφιξη νέου ανθρώπινου δυναμικού ιδρύονται τμήματα ψυχαγωγίας και επιμόρφωσης όπως Θεατρικό, Βυζαντινής Χορωδίας, Παιδικής Μαντολινάτας, Αγιογραφίας, Ζωγραφικής, Παραδοσιακού Κεντήματος και Χειροτεχνίας. 

Ο Σύλλογος δεν έπαυσε να ασχολείται με τα προβλήματα που απασχολούν την Ελληνική Μειονότητα της Κωνσταντινούπολης προβαίνοντας κατά καιρούς σε παραστάσεις, τόσο σε Ελληνικό όσο και σε Διεθνές επίπεδο.

Κατά την δεκαετία 1980-1990, εκδίδει τριμηνιαίο περιοδικό «Κωνσταντινουπολίτικα Θέματα», το οποίο αποσπά θετικά σχόλια. Ακόμη πραγματοποιεί προσκυνηματικές εκδρομές στο εξωτερικό (Πόντος, Καππαδοκία, Ελληνόφωνος κάτω Ιταλία κ.ά.)

Ο Σύλλογος Κωνσταντινουπολιτών βραβεύθηκε το 1981 από την Ακαδημία Αθηνών το 1983, από την Ομοσπονδία Προσφυγικών Σωματείων και το 1987 από το Υπουργείο Αιγαίου.