Friarealet på sydsiden av Pall Mall has har vært kongelig eiendom i mange hundre år og forvaltes fremdeles av Crown Estate. St. James's Palace på sydsiden av gaten i dens vestre ende, og Marlborough House, var engang kongelig residenser. Prince Regent's Carlton House sto engang i den østlige ende av gaten. I Pall Mall lå også engang kontorene til War Office,