Baubewilligung (Bau einer Terrasse), hat sich ergeben:
A.- Y._ ist Eigentümer des Grundstücks Nr. aaa, Murten, Wohnzone schwacher Besiedelungsdichte II (WSII), überlagert durch Schutzzone S4. Auf dem Grundstück befindet sich eine 1912-13 erbaute Villa mit Zahnarztpraxis im Erdgeschoss sowie Wohnungen im ersten und zweiten Stock.
Y._ und X._ reichten am 18. Mai 1996 bei der Gemeinde Murten ein Baugesuch ein für den Bau einer Terrasse im zweiten Stock, über der bestehenden Terrasse des ersten Stocks.
Der Oberamtmann des Seebezirks wies am 24. Januar 1997 das Baugesuch ab. Er stützte sich dabei auf eine Begutachtung der Eidgenössischen Kommission für Denkmalpflege, welche zum Schluss gekommen war, der Anbau der seeseitigen Terrasse würde der Bauauffassung des Hauses widersprechen und alle in den letzten Jahren durchgeführten Bau- und Ortsbildschutzmassnahmen entwerten.
B.- Y._ und X._ erhoben dagegen Beschwerde beim Verwaltungsgericht des Kantons Freiburg. Dieses führte eine Ortsbesichtigung durch und wies mit Entscheid vom 10. Februar 2000 die Beschwerde ab.
C.- Y._ und X._ erhoben am 22. März 2000 staatsrechtliche Beschwerde mit dem Antrag, den Entscheid des Verwaltungsgerichts aufzuheben. Zugleich stellten sie ein Sistierungsgesuch.
D.- Mit Verfügung des Präsidenten der I. öffentlichrechtlichen Abteilung des Bundesgerichts vom 9. Mai 2000 wurde das bundesgerichtliche Verfahren ausgesetzt und mit Verfügung vom 27. Juni 2001 wieder aufgenommen.
E.- Das Verwaltungsgericht des Kantons Freiburg beantragt, die Beschwerde abzuweisen. Der Gemeinderat Murten äussert die Ansicht, die Verweigerung der Baubewilligung verstosse gegen das Verhältnismässigkeitsprinzip. Der Oberamtmann des Seebezirks führt aus, er habe zur Beschwerde nichts zu bemerken.

Das Bundesgericht zieht in Erwägung:
1.- a) Die staatsrechtliche Beschwerde gegen den kantonal letztinstanzlichen, auf kantonales Recht gestützten Endentscheid ist zulässig (Art. 84 Abs. 2, Art. 86 Abs. 1 und Art. 87 OG). Die Beschwerdeführer sind als Baugesuchsteller, deren Gesuch durch den angefochtenen Entscheid abgewiesen wird, zur Beschwerde legitimiert (Art. 88 OG).
b) Auf die von den Beschwerdeführern beantragte Ortsbesichtigung kann verzichtet werden, da sich der rechtserhebliche Sachverhalt, soweit umstritten, mit hinreichender Klarheit aus den Akten ergibt.
2.- Die Beschwerdeführer rügen eine Verletzung der Eigentumsgarantie (<ref-law>). Die Verweigerung der Baubewilligung sei durch kein öffentliches Interesse gerechtfertigt und zudem unverhältnismässig.
a) Eine Einschränkung der Eigentumsgarantie bedarf einer gesetzlichen Grundlage und muss durch ein öffentliches Interesse oder durch den Schutz von Grundrechten Dritter gerechtfertigt sowie verhältnismässig sein (<ref-law>). Geht es - wie vorliegend - um einen leichten Eingriff, überprüft das Bundesgericht die Anwendung und Auslegung des kantonalen Rechts unterhalb der Verfassungsstufe nur auf Willkür hin (<ref-ruling> E. 3a). Frei prüft das Bundesgericht die Frage, ob eine Eigentumsbeschränkung im öffentlichen Interesse liegt und verhältnismässig ist. Es auferlegt sich aber Zurückhaltung, soweit die Beurteilung von einer Würdigung der örtlichen Verhältnisse abhängt, welche die kantonalen Behörden besser überblicken (<ref-ruling> E. 2c; <ref-ruling> E. 3a).
b) Das Verwaltungsgericht hat erwogen, die Gemeinden seien nach eidgenössischem und kantonalem Recht verpflichtet, Massnahmen zum Schutz der Ortsbilder zu treffen.
Die Festlegung von Schutzzonen bezwecke einen flächendeckenden Schutz der einzelnen Objekte und des Ensembles von Bauten.
Die Stadt Murten sei im Inventar der schützenswerten Ortsbilder der Schweiz eingetragen. Sie müsse als Zeuge einer historischen, aber auch gesellschaftlichen, wirtschaftlichen und technischen Situation erhalten bleiben. Die streitbetroffene Liegenschaft sei durch eine Schutzzone überlagert; die Schutzzonen hätten den Zweck, die unmittelbare Umgebung der Stadt mit ihren Ringmauern, dem Schloss und den übrigen Monumentalbauten zu schützen. Das Haus B._ sei zudem in der Liste A im Anhang des Planungs- und Baureglements aufgeführt, welches die im Sinne des Gesetzes vom 7. November 1991 über den Schutz der Kulturgüter geschützten Bauten enthalte. Es sei mit dem Wert C angegeben, welcher ein Objekt durchschnittlicher Qualität bezeichne.
Der Schutzumfang beinhalte die Erhaltung der Baustruktur und der architektonischen Hauptelemente unter dem Aspekt des Ortsbildschutzes. Ein Umbau sei nicht grundsätzlich ausgeschlossen, doch könnten nur solche Eingriffe bewilligt werden, die den Charakter des Gebäudes nicht beeinträchtigten.
Eines der architektonischen Hauptelemente des Gebäudes sei das über einem regelmässig kubischen ersten Geschoss gebaute Walmdach mit seinen Mansart-Fenstern. Dieses bauliche Element habe somit unangetastet erhalten zu bleiben. Die vorgesehene Terrasse würde den Charakter des Gebäudes beeinträchtigen.
Die Erhaltung der charakteristischen Elemente eines geschützten Gebäudes sei auch im Interesse des Ortsbildschutzes geboten. Das Haus B._ befinde sich in einer Schutzzone, welche die Erhaltung des Ortsbildes der Stadt Murten bezwecke. Es nehme durch seine direkt an die Hafenanlage und dessen Schifflände grenzende Lage für das Stadtbild eine besondere Stellung ein und bedinge besonderen Schutz.
c) Eigentumsbeschränkungen im Interesse des Ortsbild- und Denkmalschutzes liegen allgemein im öffentlichen Interesse. Wie weit dieses Interesse reicht, insbesondere in welchem Ausmass ein Objekt denkmalpflegerischen Schutz verdient, ist im Einzelfall sorgfältig zu prüfen (<ref-ruling> E. 2c; <ref-ruling> E. 4a; <ref-ruling> E. 5 und 6; ZBl 101/2000 S. 99 E. 4, 97/1996 S. 366 E. 4). Die Beschwerdeführer machen geltend, es bestehe kein öffentliches Interesse an einem Verbot der Terrasse, weil die Liegenschaft nur in der niedrigsten Schutzkategorie C eingestuft sei und nur unter dem Gesichtspunkt des Ortsbildschutzes geschützt sei. Es sei auch nicht klar, welchen Zweck die Schutzzone 4 habe, da diese in Art. 29 Ziff. 1 des kommunalen Planungs- und Baureglements (PBR) nicht erwähnt sei.
d) Es ist unbestritten, dass das Haus B._ nach Anhang A3, Teil A PBR als Objekt im Schutzumfang C geschützt ist. Nach Art. 11 Abs. 2 PBR müssen die geschützten Bauten in ihrem Eigenwert, ihrer Substanz und ihren charakteristischen Elementen erhalten werden. Der Schutzumfang C bezieht sich auf die Erhaltung der Baustruktur und der architektonischen Hauptelemente unter dem Aspekt des Ortsbildschutzes. Nach dem klaren Wortlaut und Sinn dieser Vorschrift müssen somit die Baustruktur und die architektonischen Hauptelemente des Hauses B._ erhalten bleiben.
Dass in Art. 29 Ziff. 1 PBR, welcher bei bestimmten Schutzzonen als Zweck den Schutz der unmittelbaren Umgebung der Stadt bezeichnet, die Schutzzone S4 nicht genannt ist, ändert daran nichts. Art. 11 PBR gilt als allgemeine Bestimmung für alle geschützten Bauten, unabhängig von der Zweckumschreibung der Zone.
e) Die Anwendung und Auslegung von Art. 11 PBR überprüft das Bundesgericht auf Willkür hin. Es ist nicht ersichtlich, inwiefern die Ausführungen des Verwaltungsgerichts willkürlich sein sollten. Entgegen der Darstellung der Beschwerdeführer hat das Verwaltungsgericht den Charakter des Hauses definiert, indem es erwogen hat, eines der architektonischen Hauptelemente sei das Walmdach mit seinen Mansart-Fenstern. Diese Beurteilung wird durch die bei den Akten liegenden Fotos und Pläne ohne weiteres bestätigt.
Wenn auch das Haus vor allem im Erdgeschoss Asymmetrien aufweisen mag, so ist doch jedenfalls das das Erscheinungsbild prägende Walmdach klar symmetrisch. Es ist auch nicht unhaltbar, wenn das Verwaltungsgericht angenommen hat, die geplante Terrasse würde die ganze Seefassade des Gebäudes stark verändern und dessen Charakter beeinträchtigen. Aus den Fotos ergibt sich eindeutig, dass die Dachterrasse von der Seeseite her deutlich einsehbar wäre und dass das Gebäude aufgrund seiner Lage die Sicht auf die geschützte Altstadt von Murten von der Seeseite her wesentlich prägt, auch wenn es selber nicht in der eigentlichen Altstadt liegt. Es besteht demnach ein hinreichendes öffentliches Interesse an der streitigen Eigentumsbeschränkung. Fehl geht die Rüge der Beschwerdeführer, das Verwaltungsgericht habe Ortsbild- und Denkmalschutz nicht auseinandergehalten: In einer Situation wie der vorliegenden (markantes Einzelgebäude an einer für das Ortsbild prägenden Lage) wirkt sich die Änderung eines einzelnen Objekts zwangsläufig auch auf das schützenswerte Ortsbild aus.
f) Die Beschwerdeführer rügen, die Verweigerung der Baubewilligung sei unverhältnismässig. Wie ausgeführt, konnte das Verwaltungsgericht willkürfrei annehmen, dass die Beeinträchtigung des Ortsbildes durch die geplante Terrasse nicht unerheblich wäre. Umgekehrt ist die Belastung für die Eigentümer nicht besonders stark. Wohl wäre es für ihren Wohnkomfort ein Gewinn, wenn sie über eine Terrasse mit einer schönen Aussicht verfügen könnten. Indessen ist das Haus bisher seit nahezu hundert Jahren auch ohne Terrasse bewohnbar gewesen. Die bisherige Nutzung wird nicht eingeschränkt.
Die Aussicht kann auch durch die Fenster hindurch genossen werden und das Haus bietet aufgrund seiner Lage genügend andere Möglichkeiten, sich im Freien aufzuhalten (Erdgeschoss; Terrasse im ersten Stock). Insgesamt ist die Verweigerung der Baubewilligung nicht unverhältnismässig.
3.- Die staatsrechtliche Beschwerde erweist sich damit als unbegründet. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird den Beschwerdeführern auferlegt.
3.- Dieses Urteil wird den Beschwerdeführern, der Gemeinde Murten, dem Oberamtmann des Seebezirkes und dem Verwaltungsgericht des Kantons Freiburg, II. Verwaltungsgerichtshof, schriftlich mitgeteilt.
_
Lausanne, 11. September 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: