В 1970-е годы «Манчестер Юнайтед» уже не был среди претендентов на трофеи, и в какие-то периоды даже боролся против вылета из Первого дивизиона. В те времена у Чарльтона были плохие отношения с другими суперзвёздами «Юнайтед», Джорджем Бестом и Денисом Лоу. Бест даже отказался играть в прощальном матче Чарльтона против «Селтика», заявив, что «это было бы лицемерным». Чарльтон ушёл из «Манчестер Юнайтед» в конце сезона 1972/73, забив 249 голов и установив клубный рекорд по количеству матчей — 758. Рекорд по количеству матчей за клуб был побит 35 лет спустя Райаном Гиггзом в финале Лиги чемпионов УЕФА 2008 года, голевой рекорд — Уэйном Руни в 2017 году.