Успехи маратхов в Пенджабе привели их в прямую конфронтацию с Дурранийской империей Ахмад-шаха Абдали. Рагхунатх-рао был направлен на север для противодействия афганскому наступлению и, оценив обстановку, потребовал гораздо более крупную армию, чем имелась в наличии, а когда ему в этом было отказано — отказался от командования. Армию возглавил его кузен Садашив-рао, и в 1761 году маратхи потерпели крупное поражение в битве при Панипате. От потрясения, вызванного известием об этом поражении, пешва Баладжи Баджи-рао скончался. Рагхунатх-рао рассчитывал стать новым пешвой, однако им стал Мадхав-рао I, а Рагхунатх-рао оказался лишь регентом при нём.