Законченная в 1523 году, башня Сен-Жак — это всё, что осталось на этом месте от романской церкви Сен-Жак-ла-Бушери, чьё строительство финансировалось гильдией мясников («"бушри"» — лавка мясника). Церковь служила местом сбора паломников, следовавших по пути Святого Иакова к конечному пункту — гробнице апостола Иакова в Сантьяго-де-Компостела в Испании. Церковь перестраивалась в XVI веке, поменяв стиль с романского на готический, тогда же к ней была пристроена колокольня — нынешняя башня Сен-Жак.