Bandet ble startet i 1963 i București. Det var sanger og gitarist Octav Zemlicka som kom med ideen om å starte et band. Opprinnelig bestod bandet av Octav Zemlicka, Cristian Valica (trommer), Idu Barbu (elektrisk orgel) og bassist Corneliu «Bibi» Ionescu, den siste som den eneste som fortsatte å spille i bandet til de la opp i 1989. Navnet ble foreslått av Doru Georgescu, en venn av dem. I 1966 ble Sfinx for første gang spilt på radio, med sangene Îmi place muzica (Jeg er glad i musikk) og Sfinx. I 1968 kom trommeslager Marian Toroimac med, og han brakte Dan Andrei Aldea med seg (begge hadde vært medlemmer av et band kalt Memphis). Aldea forlot bandet i 1969 i noen måneder, men da han kom tilbake, overtok han ledelsen og gjorde Sfinx til et av de mest kjente rockegruppene i Romania.