Art. 8 und 9 BV (Baubewilligung), hat sich ergeben: A.- Die X._ AG betreibt auf dem Grundstück Kat. Nr. 1/7692 in Winterthur (am Untertor 7, Kernzone I, Winterthur-Altstadt) ein Bürofachgeschäft. Sie stellte am 18. Oktober 1999 ein nachträgliches Reklamegesuch für die Bewilligung von zwei bereits angebrachten Reklametafeln (in der Grösse von 170x21 bzw. 170x42 cm) an ihrem Gebäude. Der Bauausschuss der Stadt Winterthur verweigerte am 26. Oktober 1999 die Baubewilligung und ordnete die Beseitigung der bereits angebrachten Tafeln innert 30 Tagen an. Er erwog, das Gebäude Untertor 7 befinde sich in der Kernzone I der Winterthurer-Altstadt, welche als geschütztes Ortsbild von kantonaler Bedeutung bezeichnet werde. Gemäss § 238 Abs. 2 des kantonalen Planungs- und Baugesetzes vom 7. September 1975 (PBG) seien Reklametafeln so zu gestalten, dass eine gute Gesamtwirkung erreicht werde. Der Bauausschuss bewillige in ständiger Praxis in der Altstadt an Pilastern oder Gebäudeträgern keine Reklamen, damit die Fassaden nicht noch mehr mit Schildern überhäuft würden. Die Beschriftung an der Fassade sowie ein Stechschild pro Fassade werde bewilligt, sofern sich die Reklamen gut einordneten. Die X._ AG erhob dagegen zunächst erfolglos Rekurs an die Baurekurskommission IV und anschliessend Beschwerde an das Verwaltungsgericht des Kantons Zürich. Dieses wies die Beschwerde mit Entscheid vom 25. Januar 2001 ab. B.- Die X._ AG erhebt mit Eingabe vom 12. März 2001 staatsrechtliche Beschwerde mit dem Antrag, die Entscheide des Verwaltungsgerichts, der Baurekurskommission und des Bauausschusses seien aufzuheben. Zudem beantragt sie Erteilung der aufschiebenden Wirkung. Das Verwaltungsgericht und das Baupolizeiamt der Stadt Winterthur beantragen, die Beschwerde abzuweisen. Mit Verfügung des Präsidenten der I. öffentlichrechtlichen Abteilung des Bundesgerichts vom 5. April 2001 ist der Beschwerde aufschiebende Wirkung zuerkannt worden.