L'histoire raconte que le fromage était, au départ, de forme pyramidale élancée. Afin que ceux qu'il offrit à Napoléon ne lui rappellent pas sa défaite en Égypte, Talleyrand, résidant au château de Valençay, les fit décapiter. Dans une autre version de la légende du Valençay, c'est Napoléon lui-même qui, d'un coup de sabre, élimine la pointe de la pyramide qui l'humilie.