С башней связано уголовное дело о супружеской и государственной измене, известное под названием «Дело Нельской башни», — эту историю пересказал Морис Дрюон в первом томе исторической саги «Проклятые короли», в романе «Железный король». Реальная история с годами обросла легендами, одна из них легла в основу пьесы Александра Дюма и Фредерика Гайярде «Нельская башня», опубликованной в 1832 году. В пьесе описаны сцены оргий и убийств, совершаемых по приказу французской королевы начала XIV века, предположительно Маргариты Бургундской. По сюжету Буридан, главный герой, был первым любовником Маргариты Бургундской в 1293 году; на самом деле тогда Маргарите было лишь 3 года.