У 1970-х роках «Манчестер Юнайтед» вже не був серед претендентів на трофеї, і в якісь періоди навіть боровся проти вильоту з Першого дивізіону. У ті часи Чарлтон мав погані стосунки з іншими суперзірками «Юнайтед», Джорджем Бестом і Денісом Лоу. Бест навіть відмовився грати в прощальному матчі Чарлтона проти «Селтіка», заявивши, що «це було б лицемірним». Чарлтон пішов з «Манчестер Юнайтед» наприкінці сезону 1972—1973, забивши 249 голів і встановивши клубний рекорд за кількістю матчів — 758. Рекорд за кількістю матчів за клуб побив 35 років по тому Раян Гіггз у фіналі Ліги чемпіонів УЄФА 2008 року. Однак, гольовий рекорд сера Боббі залишається актуальним і донині.