Der Friedhof liegt am Fuß des sogenannten "Judenberges", an dem 1492 27 Juden von Sternberg auf Grund von falschen Beschuldigungen im Sternberger Hostienschänderprozess ermordet wurden. In der Folge des Prozesses fanden zahlreiche Pogrome gegen Juden statt, die letztlich aus ganz Mecklenburg vertrieben wurden. Für den Ort, wo bis zu diesem Zeitpunkt die jüdische Gemeinde Sternbergs ihre Toten bestattet hatte, gibt es keine Hinweise. Vermutet wird ein Ort in der Nähe des Judenbergs. In der zweiten Hälfte des 18. Jahrhunderts siedelte sich wieder eine jüdische Gemeinde in Sternberg an. Diese beantragte 1824 beim Magistrat der Stadt die Anlage eines Friedhofs, im Januar 1825 wurde für das heute mit einem Gedenkstein versehene Gelände ein Erbpachtvertrag geschlossen. Die Gemeinde Sternbergs löste sich 1924 auf, eine Auflösung des Friedhofs konnte aber verhindert werden. Die letzte Bestattung fand 1937 statt. In der Reichspogromnacht 1938 wurde der Friedhof mündlichen Überlieferungen zufolge geschändet und 1944 über einen Verkauf des Geländes bzw. die Beendigung des Erbpachtvertrages aufgelöst. 1948 wurde das Gelände an die Jüdische Landesgemeinde zurückgegeben, zum 500-jährigen Gedenktages des Hostienschänderprozesses ein Gedenkstein errichtet.