Это исторически сложилось. Торговый центр всегда был у порта, у реки, там куда подплывали суда, где велась основная торговля. Внизу у устья реки, где река выходила в море или другой крупный водоем.Я может не слишком хорошо написала, но в общем так и есть. В общем-то и сейчас центр даунтаун это не географический центр города.