Die Bedeutung des wahrscheinlich im 15. Jahrhundert entstandenen Steinkreuzes ist unbekannt. Einer Sage nach erinnert es an einen Kampf zwischen Söldnern der Reichsstadt Nürnberg und Truppen des Markgraftums Brandenburg-Ansbach. Tatsächlich fanden in der Region der Erste (1449–1450) und der Zweite Markgrafenkrieg (1552–1554) statt, bei denen auch Eltersdorf verwüstet und ausgeplündert wurde. Eine direkte Beziehung zum Kreuz ist jedoch nicht sicher herzustellen. Die Bezeichnung Schwedenstein geht auf eine weitere Sage zurück, nach der dort Soldaten aus dem Schwedenkrieg (1630–1635) begraben liegen.