Art. 8 und 9 BV (Baubewilligung), hat sich ergeben:
A.- Die X._ AG betreibt auf dem Grundstück Kat. Nr. 1/7692 in Winterthur (am Untertor 7, Kernzone I, Winterthur-Altstadt) ein Bürofachgeschäft. Sie stellte am 18. Oktober 1999 ein nachträgliches Reklamegesuch für die Bewilligung von zwei bereits angebrachten Reklametafeln (in der Grösse von 170x21 bzw. 170x42 cm) an ihrem Gebäude. Der Bauausschuss der Stadt Winterthur verweigerte am 26. Oktober 1999 die Baubewilligung und ordnete die Beseitigung der bereits angebrachten Tafeln innert 30 Tagen an. Er erwog, das Gebäude Untertor 7 befinde sich in der Kernzone I der Winterthurer-Altstadt, welche als geschütztes Ortsbild von kantonaler Bedeutung bezeichnet werde. Gemäss § 238 Abs. 2 des kantonalen Planungs- und Baugesetzes vom 7. September 1975 (PBG) seien Reklametafeln so zu gestalten, dass eine gute Gesamtwirkung erreicht werde. Der Bauausschuss bewillige in ständiger Praxis in der Altstadt an Pilastern oder Gebäudeträgern keine Reklamen, damit die Fassaden nicht noch mehr mit Schildern überhäuft würden. Die Beschriftung an der Fassade sowie ein Stechschild pro Fassade werde bewilligt, sofern sich die Reklamen gut einordneten. Die X._ AG erhob dagegen zunächst erfolglos Rekurs an die Baurekurskommission IV und anschliessend Beschwerde an das Verwaltungsgericht des Kantons Zürich. Dieses wies die Beschwerde mit Entscheid vom 25. Januar 2001 ab.
B.- Die X._ AG erhebt mit Eingabe vom 12. März 2001 staatsrechtliche Beschwerde mit dem Antrag, die Entscheide des Verwaltungsgerichts, der Baurekurskommission und des Bauausschusses seien aufzuheben. Zudem beantragt sie Erteilung der aufschiebenden Wirkung. Das Verwaltungsgericht und das Baupolizeiamt der Stadt Winterthur beantragen, die Beschwerde abzuweisen. Mit Verfügung des Präsidenten der I. öffentlichrechtlichen Abteilung des Bundesgerichts vom 5. April 2001 ist der Beschwerde aufschiebende Wirkung zuerkannt worden.

Das Bundesgericht zieht in Erwägung:
1.- a) Die Beschwerdeführerin rügt eine Verletzung von Art. 8 und 9 BV. Die Stadt Winterthur verfolge eine völlig uneinheitliche und willkürliche Bewilligungspraxis für Beschilderungen.
Sämtliche Liegenschaften am Untertor und insbesondere in unmittelbarer Umgebung ihrer Liegenschaft seien ebenfalls beschildert. Die Verweigerung der Bewilligung für ihre beiden Tafeln sei willkürlich und rechtsungleich, indem ihr verboten werde, was praktisch allen andern Grundeigentümern bewilligt wurde.
b) Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst dann, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkür liegt sodann nur vor, wenn nicht bloss die Begründung eines Entscheides, sondern auch das Ergebnis unhaltbar ist (<ref-ruling> E. 2a; <ref-ruling> E. 5; <ref-ruling> E. 4a; je mit Hinweisen).
c) Gemäss § 238 Abs. 1 PBG sind Bauten, Anlagen und Umschwung für sich und in ihrem Zusammenhang mit der baulichen und landschaftlichen Umgebung so zu gestalten, dass eine befriedigende Gesamtwirkung erreicht wird; diese Anforderung gilt auch für Materialien und Farben. Nach § 238 Abs. 2 PBG ist auf Objekte des Natur- und Heimatschutzes besondere Rücksicht zu nehmen. Die Beschwerdeführerin bestreitet nicht grundsätzlich, dass diese Bestimmung eine gesetzliche Grundlage darstellt, um Reklametafeln zu untersagen, zumal in einem geschützten Ortsbild. Doch müsse die Praxis rechtsgleich und willkürfrei sein. Die Stadt Winterthur bringt vor, sie habe in neuerer Zeit eine strengere Bewilligungspraxis angewendet. Das Verwaltungsgericht hat erwogen, es bestehe kein Grund, nicht vom Vorliegen einer solchen Praxis auszugehen. Sollten gleichwohl im Widerspruch zu dieser Praxis Bewilligungen für Reklametafeln erteilt worden sein, würde dies der Beschwerdeführerin keinen Anspruch auf Gleichbehandlung im Unrecht verleihen.
d) Die Beschwerdeführerin bringt mit Recht vor, dass es sich nicht um eine Frage der Gleichbehandlung im Unrecht handelt. § 238 PBG ist derart unbestimmt formuliert, dass zahlreiche unterschiedliche Verwaltungspraxen möglich sind. Eine relativ strenge Praxis kann darauf gestützt werden, aber eine liberalere Praxis wäre ebenfalls nicht gesetzwidrig.
Die Beschwerdeführerin verlangt somit nicht eine Gleichbehandlung im Unrecht, sondern die Anwendung einer (gesetzeskonformen) liberaleren Praxis (auch) für sich.
e) Daraus folgt aber noch keine Gutheissung der Beschwerde.
Das Verwaltungsgericht hat erwogen, die Stadt Winterthur habe eine Praxisänderung vorgenommen und in neuerer Zeit Reklametafeln strenger beurteilt als früher. Praxisänderungen führen zwar zu einer Ungleichbehandlung der früheren und der neueren Fälle, sind jedoch zulässig, wenn sie sich auf ernsthafte und sachliche Gründe stützen können (<ref-ruling> E. 4c/aa S. 162 f.). Das Bestreben, geschützte Ortsbilder besser als früher zu schützen und in ihrem Erscheinungsbild zu erhalten, ist ein sachlich haltbarer Grund, welcher eine Praxisverschärfung zu rechtfertigen vermag. Aus dem Umstand, dass früher allenfalls grosszügiger Reklametafeln bewilligt worden sind, vermag die Beschwerdeführerin daher nichts für sich abzuleiten. Eine verfassungswidrige Ungleichbehandlung läge nur vor, wenn die Behörden auch in neuerer Zeit ähnliche Reklametafeln wie diejenige der Beschwerdeführerin bewilligt hätten.
f) Die Beschwerdeführerin verweist auf die bei den Akten befindlichen und von ihr mit der staatsrechtlichen Beschwerde eingereichten Fotos, woraus hervorgehe, dass in zahlreichen anderen Fällen ebenfalls analoge Reklametafeln bewilligt worden seien. Das Verwaltungsgericht hat jedoch erwogen, bei diesen andern Schildern handle es sich praktisch ausschliesslich um Hinweisschilder betreffend Betriebe und Praxen in Obergeschossen. Die eingereichten Fotos lassen diese Feststellung nicht als willkürlich bzw. unhaltbar erscheinen.
Die andern Gebäude weisen teilweise Reklamehinweise über oder in den Schaufenstern auf, was auch der Beschwerdeführerin offenbar erlaubt wird. Die an Pilastern oder Gebäudepfeilern anderer Häuser angebrachten Hinweisschilder sind fast durchwegs kleiner und weniger auffällig als diejenigen der Beschwerdeführerin. Soweit aus den Fotos die Beschriftungen hervorgehen, handelt es sich meistens um Hinweise auf Praxen und Betriebe in Obergeschossen, die mit dem Geschäft im Erdgeschoss keinen Zusammenhang haben. Insofern unterscheidet sich die faktische Lage solcher Betriebe von demjenigen der Beschwerdeführerin: Diese hat die Möglichkeit, in ihrem Schaufenster auf ihr gesamtes Angebot hinzuweisen. In einigen Fällen handelt es sich bei den fotografisch dokumentierten Schildern offensichtlich um ältere Tafeln, die allenfalls aufgrund einer früheren, liberaleren Praxis bewilligt worden sind. Augenfällig sind einige Aushangtafeln von Restaurants und Zeitungskiosk (Beschwerdebeilage, Fotos Nr. 3, 8 und 15). Dabei kann einerseits im Hinblick auf die Besonderheiten der betreffenden Betriebe (Hinweise auf aktuelle Angebote bzw. Zeitungen) eine besondere Bewilligungspraxis gerechtfertigt sein, andererseits möglicherweise angesichts der bloss lockeren Befestigung solcher Tafeln eine Kontrolle und Durchsetzung der Bewilligungspraxis schwierig sein. Gesamthaft hat die Beschwerdeführerin nicht dargetan, dass in neuerer Zeit anderen Betrieben in ähnlichen Umständen gleichgeartete Reklametafeln wie die ihrigen bewilligt worden wären. Der angefochtene Entscheid ist demnach nicht willkürlich und verletzt auch nicht die Rechtsgleichheit.
2.- Die Beschwerde ist aus diesen Gründen abzuweisen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen (Art. 156 Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird der Beschwerdeführerin auferlegt.
3.- Dieses Urteil wird der Beschwerdeführerin, dem Bauausschuss der Stadt Winterthur und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
_
Lausanne, 14. Juni 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: