Sachverhalt: A. Am 26. März 2016 zeigte A._ ihren damaligen Lebenspartner X._ wegen Drohung im Sinne von Art. 180 Abs. 1 i.V.m. Art. 180 Abs. 2 lit. b StGB sowie Nötigung im Sinne von Art. 181 StGB an. Am gleichen Tag wurde X._ festgenommen. Er blieb bis am 9. Mai 2016 in Untersuchungshaft. Die Staatsanwaltschaft Limmattal/Albis sprach X._ mit Strafbefehl vom 17. Juli 2016 der vorerwähnten Straftaten schuldig. X._ erhob Einsprache gegen den Strafbefehl. B. Das Bezirksgericht Horgen sistierte das Verfahren mit gerichtlicher Verfügung vom 8. Dezember 2016 gestützt auf Art. 55a StGB, da A._ anlässlich der Hauptverhandlung vom 22. November 2016 erklärt habe, dass sie die strafrechtliche Verfolgung von X._ nicht wolle. Das Bezirksgericht stellte das Verfahren am 9. August 2017 ein. Das Bezirksgericht nahm die Verfahrens- und Gerichtskosten auf die Staatskasse, da A._ bereits am 9. Mai 2016 anlässlich der staatsanwaltschaftlichen Befragung ausgesagt habe, X._ müsse ihrer Ansicht nach nicht bestraft werden. Für die vom 26. März 2016 bis am 9. Mai 2016 erstandende Haft sprach es X._ keine Entschädigung zu (Dispositivziffer 4). Dies begründete es damit, X._ habe die Einleitung des Verfahrens unstrittig bewirkt. C. X._ erhob Beschwerde an das Obergericht Zürich und beantragte, die Dispositivziffer 4 sei aufzuheben und es sei ihm eine Genugtuung von insgesamt Fr. 8'800.-- zu entrichten. Das Obergericht hiess die Beschwerde am 23. November 2017 gut und sprach X._ eine Genugtuung von Fr. 7'500.-- zu. D. Die Oberstaatsanwaltschaft des Kantons Zürich führt Beschwerde in Strafsachen. Sie beantragt, der Beschluss des Obergerichts sei aufzuheben und es sei die Dispositivziffer 4 der Verfügung des Bezirksgerichts Horgen zu bestätigen. Eventualiter beantragt sie, der Beschluss des Obergerichts sei aufzuheben und die Sache zur neuen Beurteilung an dieses zurückzuweisen.