Eine Legende besagt, dass der römische Feldherr Varus, auch Verres genannt, sich nach seiner Niederlage gegen die Germanen im Teutoburger Wald in der Gegend von Pfersee versteckt haben soll und schließlich an einem See erschlagen worden sei. Mit diesem "See" könnten auch ein Altwasser der Wertach bezeichnet worden sein. Aus Verres-See oder Varus-See könnte der Name Pfersee entstanden sein.