Chelsea signerte ham for £ 5 000 i juli 1964. Graham scoret 35 mål i sine 72 kamper for Chelsea, og vant et ligacupmesterskap, men sammen med flere andre Chelsea-spillere hadde han flere sammenstøt med den hissige manageren Tommy Docherty. Dette endte med at Graham og syv andre spillere ble sendt hjem og «straffet» av Docherty for å bryte lagets «portforbud» før en kamp i 1965. Han ble solgt til Bertie Mees Arsenal ett år senere for £ 75 000 pluss spilleren Tommy Baldwin som ble byttet til Chelsea. Graham hadde først posisjonen som fremste angriper (centre forward), men ble senere flyttet til en posisjon som «tilbaketrukket» angriper (inside forward). Graham var en viktig brikke på laget som vant «the Double» i 1971, der han scoret det første målet i FA-cupfinalen mot Liverpool. Ankomsten til Alan Ball skjøv Graham ut av laget, og han flyttet til Manchester United i desember 1972, for £ 120 000.