Seuran perustaja oli kreikkalainen Giorgos Kalafatis, joka aloitti seuran toiminnan vuonna 1922. Panathinaikos ei saavuttanut historiansa alkuvuosina suurempaa menestystä. Ensimmäisen maan mestaruuden seura voitti sisällissodan aikana vuonna 1946, jolloin Panathinaikos voitti myös ensimmäisen Ateenan ja Pireuksen mestaruuden. Seuraavan kerran seura juhli mestaruutta vuosina 1947, 1950, 1951 ja 1954. 1960-luvulla Panathinaikos kilpaili tasapäisesti AEK Ateenan kanssa. Kreikan mestaruuksista Panathinaikos voitti neljä ja AEK kuusi. Panathinaikos esiintyi ensimmäistä kertaa Euroliigassa kaudella 1961–1962. Tällöin seura putosi karsinnoissa Hapoel Tel Aviville. Cup-voittajien cupissa Panathinaikos eteni välieriin, joista se putosi BC Dinamo Tbilisia vastaan.