Sachverhalt: A. Die Staatsanwaltschaft IV des Kantons Zürich führte gegen X._ eine Strafuntersuchung wegen versuchter vorsätzlicher Tötung, einfacher Körperverletzung, Hausfriedensbruch und Tätlichkeiten. Sie wirft ihm vor, er sei im August 2008 in die Wohnung von A._ eingedrungen, habe sie verletzt, deren Tochter B._ geschlagen und C._ mit einem Messer in den Hals und die Rippen gestochen. X._ macht geltend, in Notwehr gehandelt zu haben. In ihrer Anklage beantragte die Staatsanwaltschaft den Widerruf der bedingten Entlassung von X._ aus dem Strafvollzug, seine Verurteilung zu einer Freiheitsstrafe von 13 Jahren als Gesamtstrafe und die Anordnung einer Verwahrung nach Art. 64 Abs. 1 StGB. Am 25. Mai 2011 fand die Hauptverhandlung vor dem Bezirksgericht Zürich statt. Dieses beschloss die Einholung eines psychiatrischen Gutachtens. B. Am 9. Juni 2011 ersuchte X._ beim Bezirksgericht um Bewilligung des vorzeitigen Strafvollzugs. Diesen Antrag wies der Vorsitzende des Bezirksgerichts mit Verfügung vom 16. Juni 2011 ab. Gegen diesen Entscheid erhob X._ Beschwerde ans Obergericht des Kantons Zürich mit den Anträgen, die Verfügung vom 16. Juni 2011 aufzuheben und ihm den vorzeitigen Strafvollzug zu gewähren. Mit Beschluss vom 15. August 2011 hiess das Obergericht die Beschwerde gut, hob die angefochtene Verfügung des Bezirksgerichts vom 16. Juni 2011 auf und bewilligte X._ den vorzeitigen Strafvollzug. C. Mit Eingabe vom 12. September 2011 führt die Oberstaatsanwaltschaft des Kantons Zürich Beschwerde in Strafsachen ans Bundesgericht und beantragt die Aufhebung des Beschlusses des Obergerichts vom 15. August 2011. X._ beantragt in seiner Stellungnahme vom 26. September 2011 sinngemäss die Abweisung der Beschwerde und die Bewilligung des vorzeitigen Strafantritts. Das Bezirks- und das Obergericht verzichten auf Vernehmlassungen. Die Eingaben wurden der Beschwerdeführerin zur Kenntnisnahme zugestellt.