Sachverhalt:
A.
A._ wurde vom Obergericht des Kantons Aargau am 18. November 2016 zu fünf Jahren Freiheitsstrafe und einer bedingten Geldstrafe verurteilt, wobei 783 Tage Haft an die Freiheitsstrafe anzurechnen sind.
Mit Urteil vom 9. März 2017 verurteilte ihn das Obergericht des Kantons Zürich zudem wegen gewerbsmässigen Betrugs und anderen Delikten zu einer Freiheitsstrafe von 4.5 Jahren, wovon 303 Tage durch Haft erstanden sind. Mit Präsidialverfügung desselben Datums versetzte es ihn in Sicherheitshaft. Am 16. März 2017 wurde A._ der vorzeitige Strafvollzug bewilligt. Tags darauf ersuchte er um seine Entlassung. Mit Präsidialverfügung vom 28. März 2017 wies das Obergericht das Gesuch ab. Es ging davon aus, es bestehe Fluchtgefahr.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 21. April 2017 beantragt A._, die Präsidialverfügung vom 28. März 2017 sei aufzuheben und er selbst sei unverzüglich aus dem vorzeitigen Strafvollzug zu entlassen. Eventualiter seien Ersatzmassnahmen anzuordnen. Subeventualiter sei die Sache an die Vorinstanz zurückzuweisen.
Die Staatsanwaltschaft und das Obergericht haben auf eine Stellungnahme verzichtet.

Erwägungen:
1.
Der angefochtene Entscheid betrifft die Entlassung aus dem vorzeitigen Strafvollzug. Dagegen ist die Beschwerde in Strafsachen nach <ref-law> gegeben. Der Beschwerdeführer ist nach <ref-law> zur Beschwerde berechtigt. Auf sein Rechtsmittel ist einzutreten.
2.
2.1. Der Beschwerdeführer befindet sich im vorzeitigen Strafvollzug. Dies hindert ihn nicht daran, ein Gesuch um Haftentlassung zu stellen. Auf Gesuch um Entlassung aus dem vorzeitigen Strafvollzug hin ist zu prüfen, ob die Haftvoraussetzungen gegeben sind (<ref-ruling> E. 4.1 f. S. 194; <ref-ruling> E. 1d S. 79 f.; Urteil 1B_254/2014 vom 29. Juli 2014 E. 2.1; je mit Hinweisen).
2.2. Nach <ref-law> sind Untersuchungs- und Sicherheitshaft unter anderem zulässig, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig ist und ernsthaft zu befürchten ist, dass sie sich durch Flucht dem Strafverfahren oder der zu erwartenden Sanktion entzieht (Abs. 1 lit. a). An ihrer Stelle sind Ersatzmassnahmen anzuordnen, wenn sie den gleichen Zweck wie die Haft erfüllen (Art. 212 Abs. 2 lit. c und Art. 237 ff. StPO).
2.3. Der Beschwerdeführer bestreitet das Vorliegen eines dringenden Tatverdachts nicht. Er ist jedoch der Auffassung, dass keine Fluchtgefahr bestehe bzw. dass einer allfälligen Fluchtgefahr mit Ersatzmassnahmen begegnet werden könnte.
3.
3.1. Die Vorinstanz legte dar, aufgrund der Verurteilungen durch das Obergericht Aargau und das Obergericht Zürich seien unter Berücksichtigung der erstandenen Haft noch rund 74 Monate Freiheitsstrafe zu verbüssen, was ein gewichtiges Indiz für Fluchtgefahr darstelle. Dass der Beschwerdeführer nicht geflohen sei, als ihm gemäss den Strafanträgen der Staatsanwaltschaften Aargau und Zürich insgesamt 23 Monate Freiheitsstrafe drohten, bedeute nicht, dass der Fluchtanreiz mittlerweile gesunken sei, denn die Wahrscheinlichkeit einer rechtskräftigen Verurteilung sei aufgrund der nun vorliegenden, zweitinstanzlichen Urteile grösser. Der Beschwerdeführer sei zwar Schweizer Bürger, verfüge jedoch über Beziehungen in den Kosovo. Er sei dort geboren worden und während ca. 16 Jahren aufgewachsen. In den letzten Jahren sei er mehrmals pro Jahr für mehrere Tage dort hingereist, um gemäss seinen eigenen Angaben seine drei Bücher zu produzieren und seine kranken, mittlerweile verstorbenen Grosseltern zu besuchen. Sein Vater besitze dort zudem ein leer stehendes Haus. An der Berufungsverhandlung habe der Beschwerdeführer angegeben, keinen Pass von Ex-Jugoslawien zu besitzen. Aus den Akten sei freilich ersichtlich, dass ein solcher Pass sichergestellt und dem Beschuldigten am 15. April 2011 wieder persönlich ausgehändigt worden sei. Es sei davon auszugehen, dass er von den kosovarischen Behörden ohne Weiteres als Staatsbürger anerkannt werde. Das Bestehen eines Auslieferungsabkommens zwischen der Schweiz und dem Kosovo schliesse Fluchtgefahr ebenfalls nicht aus. Die finanziellen Verhältnisse des Beschwerdeführers seien unklar, weshalb nicht ohne Weiteres davon auszugehen sei, dass ihm für ein Untertauchen das Geld fehle. Er sei arbeitslos und befinde sich offenbar in der Ausbildung zum Lkw-Fahrer. Dieser Beruf lasse sich überall ausüben. Hinweise darauf, dass er im Kosovo Racheakten ausgeliefert sein werde, seien nicht ersichtlich.
3.2. Der Beschwerdeführer bringt vor, er habe gegen das Urteil des Aargauer Obergerichts Beschwerde ans Bundesgericht erhoben. Weil aus seiner Sicht beinahe die gesamte Beweiswürdigung auf unverwertbaren Beweisen beruhe, habe er sehr gute Aussichten darauf, dass die Strafe um mehr als die Hälfte reduziert werde. Hinsichtlich der vorinstanzlichen Ausführungen zu seinen Beziehungen in den Kosovo sei zu berücksichtigen, dass er zwischen 2009 und 2013 mehrheitlich in Haft gewesen sei. Die Besuche seien jeweils kurz gewesen und hätten geschäftlichen Zwecken gedient. Mit seiner Familie habe er die Ferien nicht im Kosovo, sondern in Albanien verbracht, was zeige, dass er keine nennenswerten freundschaftlichen oder familiären Kontakte mehr in seinem Ursprungsland habe. Seine Familienangehörigen lebten alle in der Schweiz. Es sei vor diesem Hintergrund willkürlich, von einem engen Beziehungsnetz im Kosovo auszugehen. Selbst wenn er als kosovarischer Staatsangehöriger anerkannt werden sollte, müsste er sich dort im Falle einer Flucht verstecken. Denn einerseits funktioniere die Auslieferung in die Schweiz sehr gut, andererseits müsste er befürchten, dass die Geschädigten im Strafverfahren Selbstjustiz üben könnten. Gegen die Fluchtgefahr spreche auch, dass er in der Schweiz verheiratet sei und drei heranwachsende Töchter habe. Auch wenn er in den letzten Monaten keine Festanstellung gehabt habe, so unternehme er viel, um dies zu ändern und insbesondere sein Handicap der schlechten Grundausbildung und mässigen Deutschkenntnisse zu kompensieren. Jüngst habe er sich auf Prüfungen in der Fahrzeugkategorie D vorbereitet. Am 9. März 2017 habe er ein Angebot für eine Stelle als Chauffeur der Kategorie C/CE erhalten. Schliesslich habe er durch sein Verhalten nach der Haftentlassung im Jahr 2013 bewiesen, dass er nicht fliehen wolle. Trotz der Anklagen in zwei Kantonen, die gesamthaft eine Freiheitsstrafe von 23 Jahre gefordert hätten, habe er allen gerichtlichen Vorladungen Folge geleistet. Dasselbe gelte für die Zeit nach der erst- und zweitinstanzlichen Verurteilung im Kanton Aargau. Die Vorinstanz sei deshalb fälschlicherweise von Fluchtgefahr ausgegangen. Zudem habe sie die Begründungspflicht verletzt, weil sie auf seine Vorbringen nicht oder nur oberflächlich eingegangen sei.
3.3. Das Obergericht legte dar, weshalb es Fluchtgefahr annahm, und ging dabei auch auf die Vorbringen des Beschwerdeführers ein. Dass es nicht in jedem Punkt sämtliche Argumente des Beschwerdeführers aufnahm, verletzt das rechtliche Gehör nach <ref-law> nicht. Danach ist ausreichend, wenn wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 2.2 S. 84; <ref-ruling> E. 5.2 S. 236; je mit Hinweisen). Die Rüge der Verletzung der Begründungspflicht ist deshalb unbegründet.
3.4. Die Annahme von Fluchtgefahr setzt ernsthafte Anhaltspunkte dafür voraus, dass die beschuldigte Person sich durch Flucht dem Strafverfahren oder der zu erwartenden Sanktion entziehen könnte. Im Vordergrund steht dabei eine mögliche Flucht ins Ausland, denkbar ist jedoch auch ein Untertauchen im Inland. Bei der Bewertung, ob Fluchtgefahr besteht, sind die gesamten konkreten Verhältnisse zu berücksichtigen. Es müssen Gründe bestehen, die eine Flucht nicht nur als möglich, sondern als wahrscheinlich erscheinen lassen. Die Schwere der drohenden Strafe ist zwar ein Indiz für Fluchtgefahr, genügt jedoch für sich allein nicht, um den Haftgrund zu bejahen. Miteinzubeziehen sind die familiären und sozialen Bindungen, die berufliche und finanzielle Situation und die Kontakte zum Ausland. Selbst bei einer befürchteten Reise in ein Land, welches die beschuldigte Person grundsätzlich an die Schweiz ausliefern bzw. stellvertretend verfolgen könnte, ist die Annahme von Fluchtgefahr nicht ausgeschlossen. Die Wahrscheinlichkeit einer Flucht nimmt in der Regel mit zunehmender Verfahrens- bzw. Haftdauer ab, da sich auch die Dauer des allenfalls noch abzusitzenden strafrechtlichen Freiheitsentzugs mit der bereits geleisteten prozessualen Haft, die auf die mutmassliche Freiheitsstrafe anzurechnen wäre (<ref-law>), kontinuierlich verringert (zum Ganzen: zur Publ. vorgesehenes Urteil 6B_73/2017 vom 16. Februar 2017 E. 4.3 mit Hinweisen).
3.5. Aufgrund der beiden zweitinstanzlichen Verurteilungen hat der Beschwerdeführer auch unter Berücksichtigung der bereits erstandenen Haft noch mit einem mehrjährigen Freiheitsentzug zu rechnen. Dies ist als gewichtiges Fluchtindiz einzustufen (vgl. Urteil 1B_237/2016 vom 13. Juli 2016 E. 3.5 mit Hinweis). Dass sich der Beschwerdeführer im Rechtsmittelverfahren eine wesentliche Reduktion dieser Strafe erhofft, ändert daran nichts.
Der Beschwerdeführer ist insofern in der Schweiz verankert, als dass er schon länger hier lebt und eine Familie hat. Indessen ist er regelmässig in den Kosovo zurückgekehrt. Die Vorinstanz hielt fest, dies diene durchaus dazu, enge Kontakte zu knüpfen. Diese Feststellung ist entgegen der Kritik des Beschwerdeführers keineswegs willkürlich (<ref-law>), auch wenn auf der Hand liegt, dass derartige Reisen während der Zeit der Untersuchungshaft nicht möglich waren. Ebenfalls nicht zu beanstanden ist, wenn die Vorinstanz davon ausging, dass die theoretische Möglichkeit von Retorsionsmassnahmen seitens der Geschädigten den Beschwerdeführer kaum von einer Flucht abhalten dürften. Dasselbe gilt nach dem Ausgeführten für die Möglichkeit einer Auslieferung an die Schweiz.
Ein Indiz gegen die Annahme von Fluchtgefahr besteht dagegen im Verhalten des Beschwerdeführers nach seiner Haftentlassung im Jahr 2013. Dieser hielt sich nicht nur bis zum erstinstanzlichen Hauptverfahren im Aargau zur Verfügung der Behörden, sondern auch nach der dortigen erst- und zweitinstanzlichen Verurteilung und nach der erstinstanzlichen Verurteilung im Kanton Zürich. Indessen hat sich die Aussicht auf die Verbüssung einer langjährigen Freiheitsstrafe mit dem Urteil des Obergerichts des Kantons Zürich weiter konkretisiert.
Zu berücksichtigen ist schliesslich die wirtschaftliche Situation des Beschwerdeführers. Nach seinen eigenen Angaben hat er rund Fr. 300'000.-- Schulden und war vor seiner Inhaftierung ohne feste Anstellung. Beim erwähnten, angeblichen Stellenangebot handelt es sich zudem in Tat und Wahrheit lediglich um die Einladung zur Einreichung einer Bewerbung. Die hohe Schuldenlast und die unsicheren Aussichten bezüglich der beruflichen Situation stellen einen Anreiz dar, sich nicht nur der Strafjustiz, sondern auch den Gläubigern zu entziehen.
Die hohe zu erwartende Strafe, die Verbundenheit mit dem Kosovo sowie die schlechte wirtschaftliche Lage des Beschwerdeführers fallen insgesamt stärker ins Gewicht als der Umstand, dass er in der Schweiz eine Familie besitzt und bis anhin keinen Fluchtversuch unternommen hat. Die Fluchtgefahr kann unter diesen Voraussetzungen bejaht werden, und es ist nicht ersichtlich, inwiefern sie mit Ersatzmassnahmen gebannt werden könnte.
4.
Die Beschwerde ist aus diesen Gründen abzuweisen.
Der Beschwerdeführer ersucht um unentgeltliche Prozessführung und Rechtsverbeiständung. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
2.1. Es werden keine Gerichtskosten erhoben.
2.2. Rechtsanwalt Christian Meier wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft See/Oberland und dem Obergericht des Kantons Zürich, II. Strafkammer, Präsident, schriftlich mitgeteilt.
Lausanne, 5. Mai 2017
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold