Sachverhalt: A. Am 8. Februar 2013 verstarb Z._. In ihrer letztwilligen Verfügung vom 29. August 2012 bestätigte sie für drei ihrer Kinder die gesetzliche Erbfolge, während sie ihrem Sohn X._ die Erbenstellung entzog und verfügte, dass er seinen Pflichtteil als Vermächtnis erhalten solle. Zudem beauftragte sie Y._ mit der Willensvollstreckung. B. Auf Begehren von X._ ordnete das Einzelgericht in Erbschaftssachen des Bezirksgerichtes Horgen am 12. März 2013 die Aufnahme eines öffentlichen Inventars an. Y._ wehrte sich gegen diesen Entscheid und gelangte ans Obergericht des Kantons Zürich. Mit Urteil vom 17. Juni 2013 hob dieses den vorinstanzlichen Entscheid auf und wies das Begehren um Aufnahme eines öffentlichen Inventars im Nachlass von Z._ ab. C. Mit Eingabe vom 23. August 2013 führt X._ (Beschwerdeführer) Beschwerde vor Bundesgericht. Er verlangt, das Urteil des Obergerichts aufzuheben und die Aufnahme des öffentlichen Inventars im Nachlass seiner Mutter zu bewilligen. Ferner verlangt er eine Prozessentschädigung, für die Y._ (Beschwerdegegner) aufzukommen habe. Das Bundesgericht hat die vorinstanzlichen Akten beigezogen und sowohl den Beschwerdegegner wie auch das Bezirksgericht zur Vernehmlassung eingeladen. Das Obergericht erklärte am 26. September 2013, auf eine Vernehmlassung zu verzichten. Dasselbe tat am 1. Oktober 2013 auch das Bezirksgericht. Demgegenüber reichte der Beschwerdegegner am 16. Oktober 2013 eine Beschwerdeantwort ein, in der er beantragte, die Beschwerde abzuweisen. Diese Beschwerdeantwort wurde dem Beschwerdeführer am 18. Oktober 2013 zur Wahrung des rechtlichen Gehörs zur Kenntnis gebracht.