Kirken var opprinnelig en katolsk middelalderkirke. Den er dedisert til St. Svithun, biskop av Winchester - navnetilføyelsen skyldes nærheten til London Stone (vis-à-vis Cannon Street).