Sachverhalt: A. Das Bezirksgericht Zürich verurteilte X._ am 29. Mai 2013 wegen verschiedener Delikte zu einer Freiheitsstrafe von 41 Monaten und einer Geldstrafe von 120 Tagessätzen zu Fr. 30.--. Gegen dieses Urteil erhoben X._ und die Staatsanwaltschaft IV des Kantons Zürich Berufung. Das Obergericht des Kantons Zürich setzte die Berufungsverhandlung auf den 28. Mai 2014 fest. Am 27. Mai 2014 erklärten sowohl die Staatsanwaltschaft als auch X._ mittels E-Mail den Rückzug ihrer Berufungen. Das Obergericht schrieb das Verfahren am folgenden Tag als durch Rückzug der Berufungen erledigt ab. B. X._ erhob gegen den Abschreibungsbeschluss des Obergerichts Beschwerde beim Bundesgericht. Er beantragte, dieser sei aufzuheben und die Sache zur Durchführung des Berufungsverfahrens an die Vorinstanz zurückzuweisen. Das Bundesgericht trat am 30. Juli 2015 auf die Beschwerde nicht ein und überwies die Sache zuständigkeitshalber an die Vorinstanz (Verfahren 6B_676/2014). C. Das Obergericht des Kantons Zürich beschloss am 8. Februar 2017, das Gesuch von X._ um Wiederaufnahme des Berufungsverfahrens werde abgewiesen. Dagegen führt X._ Beschwerde in Strafsachen. Er beantragt, der Beschluss des Obergerichts vom 8. Februar 2017 sei aufzuheben und die Vorinstanz anzuweisen, das Berufungsverfahren wiederaufzunehmen. Das Obergericht und die Oberstaatsanwaltschaft des Kantons Zürich verzichten auf eine Vernehmlassung.