Området där staden är belägen beboddes av Ojibwaindianer innan européer kom dit, och kallades då Baawitigong. I början av 1600-talet besöktes området av fransmän, som gav platsen namnet Sault de Gaston efter Gaston av Orléans, son till Henrik IV av Frankrike. År 1668 döpte jesuitmissionärer om samhället till Sault Sainte Marie, och utökade även bosättningen över floden till vad som nu är den del av staden som ligger i Michigan, USA. Sault Sainte Maries, på båda sidor av floden Saint Marys River, var ett enhetlig samhälle fram till efter 1812 års krig då den delades mellan de båda länderna när gränsen fastställdes i floden Saint Marys River. Samhället fick vissa stadsrättigheter år 1887, som "town", och fulla stadsrättigheter år 1912, som "city".