Особое место в политике Ольгерда занимала борьба с Московским княжеством, которое стремилось к господству в Северо-Восточной Руси, в том числе помогая Кашинскому княжеству добиться независимости от Тверского княжества. В 1368 и 1370 годах Ольгерд дважды безрезультатно осаждал Москву, вынужденный отвлекаться на борьбу с крестоносцами. В 1371 году на стороне тверского князя выступил и добившийся лидерства в Золотой Орде Мамай, примерно в то же время возобновились выплаты дани в Орду с южнорусских земель, подчинённых Литве. В 1372 году Ольгерд заключил мир с Дмитрием Донским, но в последние годы своего правления Ольгерд утратил контроль над восточными землями княжества, прежде всего Брянском и Смоленском, склонившимися к союзу с Москвой, в том числе и против Орды.