(<ref-law>), hat sich ergeben:
A.- Rechtsanwalt Dr. X._ vertrat A._ als amtlicher Verteidiger in einem Strafverfahren. Mit Kostennote vom 26. Juni 2000 ersuchte X._ das Bezirksgericht Winterthur um Zusprechung eines Honorars von insgesamt Fr. 15'327. 55 für seine Bemühungen und Auslagen. Mit Beschluss vom 25. Juli 2000 kürzte das Bezirksgericht Winterthur einzelne Posten der Kostenaufstellung und sprach X._ eine Entschädigung von Fr. 8'689. 45 (inkl. Barauslagen von Fr. 583. 20 und Mehrwertsteuer von Fr. 606. 25) zu. Gegen diesen Beschluss beschwerte sich X._ bei der Verwaltungskommission des Obergerichts des Kantons Zürich. Diese hiess die Beschwerde teilweise gut und verpflichtete das Bezirksgericht Zürich, X._ für das betreffende Mandat weitere Fr. 4'824. 05 (inkl. Baraus-lagen von 237. 50 und Mehrwertsteuer von Fr. 336. 55) zu bezahlen.
B.- Gegen den Entscheid des Obergerichts führt X._ staatsrechtliche Beschwerde wegen willkürlicher Bemessung seines Honorars (<ref-law>). Er beantragt die Aufhebung des angefochtenen Entscheids, soweit damit die für Kopien in Rechnung gestellten Auslagen gekürzt worden seien.
Das Bezirksgericht hat sich nicht vernehmen lassen.
Das Obergericht hat zu den Vorbringen des Beschwerdeführers Stellung genommen.

Das Bundesgericht zieht in Erwägung:
1.- Der Beschwerdeführer ist legitimiert, den kantonal letztinstanzlichen Entscheid über die Festsetzung seines Verteidigerhonorars mit staatsrechtlicher Beschwerde anzufechten (Art. 88 OG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die staatsrechtliche Beschwerde einzutreten.
2.- a) Vor Bundesgericht strittig ist einzig der Entschädigungsansatz für die vom Beschwerdeführer erstellten 975 Kopien. Währenddem dieser Fr. 1.-- pro Kopie für angemessen hält, anerkennt das Obergericht lediglich einen Ansatz von Fr. 0.50. Entsprechend hat das Obergericht dem Beschwerdeführer für die verrechneten Kopien nur Fr. 487. 50 anstelle der geforderten Fr. 975.-- zugesprochen. Der Beschwerdeführer sieht darin eine willkürliche Sparmassnahme und beruft sich vergleichsweise auf Art. 6 der Honoraransätze des Vereins Zürcherischer Rechtsanwälte vom Januar 1997 sowie auf die Verordnung des Obergerichts über die Vorladungs-, Zustellungs- und Schreibgebühren vom 21. April 1993, wo pro Kopie eine Entschädigung von Fr. 1.-- vorgesehen sei.
Auch mit Blick auf das Kostendeckungsprinzip erachtet der Beschwerdeführer eine Entschädigung von Fr. 0.50 pro Kopie als ungenügend, zumal gerade kleinere Anwaltskanzleien regelmässig nicht über grössere Kopierapparate mit automatischem Papiereinzug und Sortierer verfügten.
b) Willkür liegt nach ständiger Rechtsprechung des Bundesgerichts vor, wenn der angefochtene kantonale Entscheid offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Eine materielle Rechtsverweigerung ist nicht schon dann gegeben, wenn eine andere Lösung ebenfalls vertretbar oder gar zutreffender erschiene, sondern nur dann, wenn das Ergebnis schlechterdings mit vernünftigen Gründen nicht zu vertreten ist (<ref-ruling> E. 5b; <ref-ruling> E. 2a; <ref-ruling> E. 2b S. 139, je mit Hinweisen).
Die kantonalen Instanzen verfügen bei der Beurteilung der Angemessenheit anwaltlicher Kostenaufstellungen zum Vornherein über ein beträchtliches Ermessen. Das Bundesgericht greift daher bei Anrufung des Willkürverbots nur ein, wenn der Ermessensspielraum klarerweise überschritten worden ist und etwa Bemühungen nicht honoriert wurden, die zweifelsfrei zu den Obliegenheiten eines amtlichen Verteidigers gehören (<ref-ruling> E. 3a mit Hinweisen; <ref-ruling> E. 2d).
Solange die Entschädigung des Offizialverteidigers gesamthaft gesehen als angemessen erscheint, ist es nicht willkürlich, wenn sie tiefer angesetzt wird als bei einem privaten Rechtsanwalt (<ref-ruling> E. 3a mit Hinweisen).
c) Der Beschwerdeführer bestreitet nicht, dass der beanstandete Entschädigungsansatz für Kopien der gängigen zürcherischen Praxis bei der Honorarbemessung für amtliche Mandate - um die es hier einzig geht - entspricht. Zu Recht weist das Obergericht in seiner Stellungnahme darauf hin, dass der Vergleich mit dem Kopienansatz nach der Verordnung des Obergerichts über die Vorladungs-, Zustellungs- und Schreibgebühren vom 21. April 1993 insofern hinkt, als sich der dort festgelegte Tarif von Fr. 1.-- auf "von Privatpersonen zusätzlich verlangte Ausfertigungen" und damit auf besondere Dienstleistungen bezieht, die mit den üblichen Spruch- und Schreibgebühren nicht abgegolten werden. Das Obergericht führt aus, dieser Tarif betreffe nicht nur den Sach-, sondern auch den Personalaufwand. Demgegenüber sei bei der Entschädigung der amtlichen Verteidiger die Sekretariatsarbeit im Stundenansatz abgegolten, weshalb sich die Fr. 0.50 nur noch auf den Sachaufwand bezögen. Diese Betrachtungsweise erscheint auch unter Berücksichtigung des vom Beschwerdeführer eingewendeten Kostendeckungsprinzips hinsichtlich der Amortisation des kanzleieigenen Kopiergeräts nicht als willkürlich. Nicht stichhaltig ist schliesslich das Argument, der Beschwerdeführer könne als im Kanton Zürich tätiger Anwalt grundsätzlich verpflichtet werden, amtliche Mandate zu übernehmen. Diese Regelung betrifft die Honorarbemessung nicht unmittelbar.
3.- Demnach ist die staatsrechtliche Beschwerde abzuweisen. Ausgangsgemäss hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 156 Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer sowie dem Bezirksgericht Winterthur und dem Obergericht des Kantons Zürich, Verwaltungskommission, schriftlich mitgeteilt.
_
Lausanne, 3. Juli 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Die Gerichtsschreiberin: