З пачатку княжання ў Віцебску Альгерда (1320 год) Орша ў складзе Віцебскага княства далучана да Вялікага Княства Літоўскага як цэнтр намесніцтва ў Віцебскім княстве. У першай палове XIV ст. у сувязі з прыгранічным размяшчэннем горада вялікім князем Альгердам вакол горада былі ўзведзены абарончыя ўмацаванні, а ў 1398—1407 гадах ужо па загадзе Вітаўта на месцы гарадзішча быў пабудаваны мураваны замак. Аршанская харугва брала ўдзел у Грунвальдскай бітве (15.7.1410). З дакументаў XV ст. вядома, што ў месце дзейнічала мытня.