(Ausstand), hat sich ergeben: A.- A._ wurde mit Urteil des Kantonsgerichts Schaffhausen vom 21. Dezember 2000 der wiederholten Schändung sowie der versuchten Anstiftung zu Mord, Freiheitsberaubung und Entführung schuldig gesprochen und zu zwölf Jahren Zuchthaus verurteilt. Er focht dieses Urteil mit Berufung beim Obergericht des Kantons Schaffhausen an. Verfahrensleiter im Berufungsverfahren ist Arnold Marti, Vizepräsident des Obergerichts. Am 4. April 2001 stellte A._ ein Ablehnungsgesuch gegen Arnold Marti, weil dieser in der Strafsache schon mehrfach tätig geworden sei und mit seinen Handlungen insgesamt den Anschein erwecke, in Bezug auf die Frage von Schuld und Strafe voreingenommen zu sein. Arnold Marti erklärte in seiner Stellungnahme vom 10. April 2001, dass er sich trotz der Mitwirkung an Beschwerdeentscheiden und verfahrensleitenden Anordnungen im Berufungsverfahren nicht befangen fühle. Das Obergericht wies mit Entscheid vom 20. April 2001 das Ausstandsgesuch ab, soweit es darauf eintrat. B.- Gegen den Ausstandsentscheid des Obergerichts führt A._ staatsrechtliche Beschwerde beim Bundesgericht. Er beantragt die Aufhebung des Entscheids wegen Verletzung des Rechts auf eine unparteiliche, unvoreingenommene Beurteilung (Art. 30 Abs. 1 BV und 6 Ziff. 1 EMRK). Die Staatsanwaltschaft beantragt Abweisung der Beschwerde. Das Obergericht sowie Arnold Marti haben auf eine Stellungnahme ausdrücklich verzichtet. A._ beanstandet in seiner Replik unter Hinweis auf die Vernehmlassung des Obergerichts, dem Bundesgericht lägen die Akten nur auszugsweise in Kopie vor. Er beantragt den Beizug sämtlicher Vorakten.