De adskilte samfunnene som utgjør dagens by: Stotfield, den første betydningsfulle bosetningen (ikke tatt med Kinneddar som nå har forsvunnet), ligger nordvest for byen. Neste var Seatown, et lite område mellom elven og kanalen med 52 hus, hvorav 51 er de historiske fiskerhyttene. Da den nye havnen ble bygget ved elven Lossie, ble den planlagte byen Lossiemouth fra 1700-tallet, bygget på et rutenett, etablert på den lave bakken under Coulard Hill. Branderburgh dannet den endelige utviklingen i løpet av 1800-tallet. Denne delen av byen utviklet seg helt som et resultat av den nye havnen med sine to bassenger, og dekket til slutt hele Coulard Hill; den har en imponerende profil sett på avstand.