(Ausstand), hat sich ergeben:
A.- A._ wurde mit Urteil des Kantonsgerichts Schaffhausen vom 21. Dezember 2000 der wiederholten Schändung sowie der versuchten Anstiftung zu Mord, Freiheitsberaubung und Entführung schuldig gesprochen und zu zwölf Jahren Zuchthaus verurteilt. Er focht dieses Urteil mit Berufung beim Obergericht des Kantons Schaffhausen an.
Verfahrensleiter im Berufungsverfahren ist Arnold Marti, Vizepräsident des Obergerichts.
Am 4. April 2001 stellte A._ ein Ablehnungsgesuch gegen Arnold Marti, weil dieser in der Strafsache schon mehrfach tätig geworden sei und mit seinen Handlungen insgesamt den Anschein erwecke, in Bezug auf die Frage von Schuld und Strafe voreingenommen zu sein. Arnold Marti erklärte in seiner Stellungnahme vom 10. April 2001, dass er sich trotz der Mitwirkung an Beschwerdeentscheiden und verfahrensleitenden Anordnungen im Berufungsverfahren nicht befangen fühle. Das Obergericht wies mit Entscheid vom 20. April 2001 das Ausstandsgesuch ab, soweit es darauf eintrat.
B.- Gegen den Ausstandsentscheid des Obergerichts führt A._ staatsrechtliche Beschwerde beim Bundesgericht.
Er beantragt die Aufhebung des Entscheids wegen Verletzung des Rechts auf eine unparteiliche, unvoreingenommene Beurteilung (<ref-law> und 6 Ziff. 1 EMRK).
Die Staatsanwaltschaft beantragt Abweisung der Beschwerde. Das Obergericht sowie Arnold Marti haben auf eine Stellungnahme ausdrücklich verzichtet. A._ beanstandet in seiner Replik unter Hinweis auf die Vernehmlassung des Obergerichts, dem Bundesgericht lägen die Akten nur auszugsweise in Kopie vor. Er beantragt den Beizug sämtlicher Vorakten.

Das Bundesgericht zieht in Erwägung:
1.- a) Der angefochtene Entscheid des Obergerichts ist als kantonal letztinstanzlicher, selbständig eröffneter Zwischenentscheid über ein Ausstandsbegehren mit staatsrechtlicher Beschwerde anfechtbar (Art. 86 Abs. 1 und 87 Abs. 1 OG). Der Beschwerdeführer ist in seinen rechtlich geschützten Interessen berührt (Art. 88 OG) und hat die Eingabe frist- und formgerecht eingereicht (Art. 89 f. OG). Auf die Beschwerde ist mit dem Vorbehalt der gehörigen Begründung (Art. 90 Abs. 1 lit. b OG) einzutreten.
b) Der Beschwerdeführer stellt den prozessualen Antrag, vom Bundesgericht seien sämtliche Vorakten einzuholen.
Vorliegend ist streitig, ob Oberrichter Arnold Marti im Berufungsverfahren betreffend das Strafurteil vom 21. Dezember 2000 in den Ausstand hätte treten müssen. Dem Bundesgericht liegen neben den Verfügungen und Entscheiden, die der Vizepräsident allein oder als Vorsitzender des entscheidenden Gremiums getroffen hat, auch die Haftakten, die Anklageschrift vom 13. September 2000 sowie das Strafurteil des Kantonsgerichts Schaffhausen vom 21. Dezember 2000 vor.
Aus diesen Akten ergeben sich der in Frage stehende Sachverhalt sowie die Prozessgeschichte mit hinreichender Klarheit (vgl. Art. 95 OG). Auf das Einholen weiterer Unterlagen kann verzichtet werden.
2.- Der Beschwerdeführer wirft dem Obergericht eine Verletzung des rechtlichen Gehörs vor, weil es zu gewissen Vorbringen nicht Stellung genommen habe.
Das Obergericht hat unter Bezugnahme auf die Vorbringen des Beschwerdeführers ausführlich erörtert, weshalb es in den Amtshandlungen des Vizepräsidenten keine Anzeichen von Befangenheit erblickt. Es hat in transparenter Weise die Gründe für seine Wertungen und Schlussfolgerungen dargelegt und ist damit der Begründungspflicht nachgekommen, wie sie sich aus dem verfassungsmässigen Gehörsanspruch nach Art. 6 Ziff. 1 EMRK und <ref-law> ergibt (s. <ref-ruling> E. 2a; <ref-ruling> E. 1a; <ref-ruling> E. 4 S. 86, 481 E. 6b/bb, je mit Hinweisen). Dass sich das Obergericht bei der Prüfung der Rügen auf die wesentlichen und massgebenden Argumente beschränkt hat und nicht auf jedes vorgebrachte Detail eingegangen ist, stellt keine Verletzung des rechtlichen Gehörs dar (vgl. dazu ausführlich <ref-ruling> E. 2b mit Hinweisen; <ref-ruling> E. 2c). Aus der Eingabe des Beschwerdeführers ergibt sich, dass dieser aufgrund der Begründung des Entscheids durchaus in der Lage war, diesen sachgerecht anzufechten. Die Rüge der Verletzung des rechtlichen Gehörs erweist sich damit als offensichtlich unbegründet.
3.- a) Der Beschwerdeführer sieht in der Abweisung des gegen den Vizepräsidenten gerichteten Ausstandsgesuchs eine Verletzung seines verfassungsmässigen Anspruchs auf eine unabhängige richterliche Beurteilung seiner Sache. Er macht geltend, das Obergericht hätte den Vizepräsidenten wegen Voreingenommenheit von der weiteren Mitwirkung am Verfahren ausschliessen müssen. Den Anschein der Befangenheit soll dieser mit der Abweisung von zwei Haftentlassungsgesuchen (Verfügungen vom 9. Oktober 2000 und 8. März 2001), der Abweisung eines Antrags um eine unbeaufsichtigte private Begutachtung im Gefängnis (Entscheid vom 10. November 2000), einem Schreiben betreffend Festlegung einer Vernehmlassungsfrist vom 5. Februar 2001 sowie einer prozessleitenden Anordnung vom 8. März 2001 erweckt haben.
b) Das Recht des Einzelnen, dass seine Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter beurteilt wird, ist in <ref-law> und Art. 6 Ziff. 1 EMRK gewährleistet. Damit soll garantiert werden, dass keine Umstände, die ausserhalb des Prozesses liegen, in sachwidriger Weise zu Gunsten oder zu Lasten einer Partei auf die Beurteilung einwirken. Als solche fallen neben funktionellen oder organisatorischen Gesichtspunkten auch ein bestimmtes Verhalten des Richters in Betracht (<ref-ruling> E. 4a S. 261 und 121 E. 3a; <ref-ruling> E. 2b). Die Ablehnung eines Richters setzt aber nicht voraus, dass dieser tatsächlich befangen ist. Bei der Beurteilung des Anscheins der Befangenheit und der Gewichtung der diesbezüglichen Vorbringen wird nicht auf das subjektive Empfinden einer Partei abgestellt; das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen (<ref-ruling> E. 3a; <ref-ruling> E. 8a; <ref-ruling> E. 3a; <ref-ruling> E. 2b).
Das Bundesgericht hatte wiederholt zu prüfen, ob ein Richter deswegen als befangen abgelehnt werden könne, weil er sich bereits in einem früheren Zeitpunkt in amtlicher Funktion mit der konkreten Streitsache befasst hatte.
Es hat zu den Fällen der sogenannten Vorbefassung ausgeführt, es sei jeweils im Einzelfall zu prüfen, ob das Verfahren in Bezug auf den konkreten Sachverhalt und die konkret zu entscheidenden Rechtsfragen nicht mehr offen, sondern vorbestimmt erscheine. Als massgebend erachtet es dabei die tatsächlichen und rechtlichen Umstände der verschiedenen Verfahrensabschnitte, bei denen ein Richter mitwirkte (<ref-ruling> E. 3 mit Hinweisen). Nicht entscheidend ist demgegenüber, ob der abgelehnte Richter die früheren Entscheide allein oder im Kollegium mit andern Richtern getroffen hat (<ref-ruling> E. 3d S. 59 f.).
c) Der Beschwerdeführer wirft dem Vizepräsidenten vor, ihm in den beiden Haftprüfungsentscheiden vom 9. Oktober 2000 und vom 8. März 2001 eine organisatorische Gewohnheit und Gewandtheit unterstellt zu haben, die angeblich auch im internationalen Bereich gegeben sei und eine Neuorientierung im Ausland als wahrscheinlich erscheinen lasse.
Inwiefern diese Aussage den Anschein der Befangenheit erwecken soll, ist nicht ersichtlich. Die Ausführungen des Vizepräsidenten beziehen sich auf das in Ziff. II der Anklageschrift beschriebene Verhalten des Beschwerdeführers beim Versuch, D._ ausfindig zu machen. Das dort geschilderte Vorgehen lässt die beanstandete Schlussfolgerung zu und ist im Übrigen unbestritten. Da sich der Vizepräsident beim Prüfen der Haftvoraussetzungen nicht zur Schuldfrage geäussert hat, erscheint er im Hinblick auf die Beurteilung in der Sache auch nicht vorbefasst. Nicht nachvollziehbar ist der Einwand des Beschwerdeführers, der Vizepräsident habe seine Befangenheit dadurch zum Ausdruck gebracht, dass er im Entscheid vom 9. Oktober 2000 die Verdachtsmomente zu wenig konkret dargelegt habe.
Unbegründet ist weiter der Vorwurf, die Befangenheit ergebe sich aus der inhaltlichen Fehlerhaftigkeit der prozessleitenden Verfügung vom 8. März 2001; mit dieser sei die Fortsetzung des Verfahrens angeordnet worden, ohne dass vorher die örtliche Zuständigkeit der Schaffhauser Behörden näher abgeklärt worden sei, wie er dies beantragt habe. Ab-gesehen davon, dass der Vizepräsident die Frage des Gerichtsstands geprüft und die Zuständigkeit des Schaffhauser Obergerichts bejaht hat, läge selbst dann, wenn diese Annahme unzutreffend wäre, noch kein Ausstandsgrund vor. Nach der Rechtsprechung vermögen nur sehr schwere oder wiederholt begangene Fehler in der Rechtsanwendung, die als eigentliche Amtsplichtverletzungen zu betrachten sind, den Anschein der Befangenheit zu begründen (<ref-ruling> E. 3a). Ebenso wenig ergibt sich aus dem Umstand, dass der Vizepräsident für die Beibehaltung des Gerichtsstands unter anderem prozessökonomische Gründe anführte, der Anschein, er habe ein persönliches Interesse an der Beeinflussung des Verfahrens.
In Bezug auf den Entscheid des Obergerichts vom 10. November 2000 betreffend Besuchsbewilligung für einen Privatgutachter, an dem der Vizepräsident als Vorsitzender mitwirkte, kritisiert der Beschwerdeführer lediglich die rechtliche Begründung, ohne dabei darzulegen, worin die auf Befangenheit hindeutenden Anzeichen liegen sollen. Auf die entsprechenden Ausführungen kann nicht eingetreten werden (s. vorne E. 1a). Als unbegründet erweisen sich schliesslich die Vorbringen, die sich auf das Schreiben vom 5. Februar 2001 beziehen. Wie das Obergericht zutreffend festhält, entspricht es der Praxis, in Haftprüfungsverfahren kurze Fristen für die Vernehmlassungen anzusetzen. Es kann vollumfänglich auf die Begründung im angefochtenen Entscheid verwiesen werden.
d) Die erwähnten Amtshandlungen des Vizepräsidenten erwecken bei objektiver Betrachtung weder einzeln noch in ihrer Gesamtheit den Eindruck, dieser sei voreingenommen. Ob der Beschwerdeführer das Ausstandsgesuch hinsichtlich gewisser Vorbringen verspätet gestellt hat, wie das Obergericht in einer Eventualbegründung ausführt, kann offen bleiben.
4.- Demnach ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Entsprechend dem Ausgang des Verfahrens sind die Kosten dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Vizepräsidenten des Obergerichts des Kantons Schaffhausen, der Staatsanwaltschaft sowie dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
_
Lausanne, 29. Juni 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: