Blant sine samtidige ble Sæmund høyt priset, men øyensynlig hadde han også fiender. I islandsk folkeminne ble Sæmund en legendeskikkelse, og fikk ry på seg for å være en trollkyndig mann: – «lærte ukjent eller okkult kunnskap» – som en kilde uttrykker det. Ryktene om ham rett etter hans død synes å ha blitt satt sammen av de som var misunnelige på ham. Et av disse, en fortelling om at han fløy gjennom luften fra sin lærer, ble lagt inn i Gunnlaug Leifssons (ca. 1200). Fortellingen er et tidlig Faust-motiv om den lærde som selger sin sjel til djevelen i bytte for kunnskap.