I de første fire årene i Philadelphia spilte Sixers for det meste på Philadelphia Arena og Civic Center-Convention Hall. I 1964-65 sesongen hentet 76ers legenden Wilt Chamberlain fra San Francisco Warriors. I Eastern Conference Finalespillet, i 1964/65 møtte Sixers de utrolig suverene Boston Celtics, som var nærmest uslåelig. I den siste kampen tapte Philadelphia.