Sachverhalt:
A.
Das Bezirksgericht Zürich sprach X._ am 31. Mai 2017 u.a. der mehrfachen Veruntreuung (Art. 138 Ziff. 1 Abs. 1 und 2 i.V.m. Art. 138 Ziff. 2 StGB), der ungetreuen Geschäftsbesorgung (Art. 158 Ziff. 1 Abs. 1 und 3 StGB) und der Misswirtschaft (Art. 165 Ziff. 1 i.V.m. Art. 29 lit. a StGB) schuldig und bestrafte ihn mit einer Freiheitsstrafe von 61/2 Jahren. Es verpflichtete ihn, zahlreichen Privatklägern Schadenersatzzahlungen zu leisten. A.A._, B.A._ und C.A._ verpflichtete es als andere Verfahrensbeteiligte, dem Staat nach E intritt der Rechtskraft als Ersatz für nicht mehr vorhandenen, widerrechtlich erlangten Vermögensvorteil Fr. 150'000.-- (A.A._), Fr. 685'000.-- (B.A._) bzw. Fr. 30'000.-- (C.A._) zu bezahlen (Dispositivziff. 27-29). Die Beschlagnahme der Barschaften von A.A._ von Fr. 10'050.65, Fr. 10'004.50, Fr. 1'178.80 und Fr. 24.75 erhielt es bis zur Bezahlung der Ersatzforderung von Fr. 150'000.-- aufrecht (Dispositivziff. 27). Auf das Entschädigungsbegehren von A.A._, B.A._ und C.A._ trat es nicht ein (Dispositivziff. 40).
B.
A.A._, B.A._ und C.A._ meldeten gegen das Urteil vom 31. Mai 2017 Berufung an und reichten in der Folge eine Berufungserklärung ein. Darin beantragten sie, sie seien als Privatkläger in das Verfahren aufzunehmen, X._ sei zu verpflichten, ihnen Fr. 456'000.--, Fr. 850'000.-- bzw. Fr. 950'000.-- Schadenersatz zu bezahlen, und es sei ihnen aus dem Verwertungserlös der eingezogenen Vermögenswerte gemäss Dispositivziff. 30 des erstinstanzlichen Urteils ein anteiliger Betrag zuzusprechen. Die von der Staatsanwaltschaft zu ihren Lasten beantragten Ersatzforderungen seien vollumfänglich abzuweisen (Dispositivziff. 27-29 des erstinstanzlichen Urteils) und es seien ihnen die beschlagnahmten Vermögenswerte von Fr. 10'050.65, Fr. 10'004.50, Fr. 1'178.80 und Fr. 24.75 herauszugeben. Zudem seien ihre Anwaltskosten auf die Staatskasse zu nehmen (Dispositivziff. 40 des erstinstanzlichen Urteils).
C.
Das Obergericht des Kantons Zürich setzte A.A._, B.A._ und C.A._ mit Präsidialverfügung vom 25. August 2017 eine Frist von 20 Tagen an, um Prozesskautionen von Fr. 40'000.-- (A.A._), Fr. 60'000.-- (B.A._) bzw. Fr. 50'000.-- (C.A._) zu leisten. Mit Eingabe vom 6. September 2017 zogen A.A._, B.A._ und C.A._ ihre Berufungsanträge auf Aufnahme als Privatkläger und Zusprechung von Schadenersatz sowie eines Teils des Verwertungserlöses der eingezogenen Vermögenswerte zurück. An ihren Berufungsanträgen betreffend die vom Bezirksgericht ausgesprochenen Ersatzforderungen (Dispositivziff. 27-29 des erstinstanzlichen Urteils) hielten sie ausdrücklich fest. Gleichzeitig beantragten sie, aufgrund des Wegfalls der ursprünglich beantragten Stellung als Privatkläger sei auf entsprechende Kautionen zu verzichten, eventualiter sei ihnen die Frist für die Bezahlung der verfügten Kautionsleistungen um weitere 20 Tage zu verlängern. Mit Präsidialverfügung vom 7. September 2017 hielt das Obergericht an den festgesetzten Kautionen fest, erstreckte aber die Frist zur Leistung der Kautionen um 10 Tage bis zum 29. September 2017. Am 29. September 2017 ersuchten A.A._, B.A._ und C.A._ um Reduktion der Kautionen und um Neufestsetzung der Zahlungsfrist. Mit Präsidialverfügung vom 3. Oktober 2017 setzte das Obergericht die Kautionen neu auf Fr. 20'000.-- (A.A._), Fr. 42'000.-- (B.A._) und Fr. 7'000.-- (C.A._) fest und erstreckte die Zahlungsfrist letztmals um 10 Tage. Mit Beschluss vom 18. Oktober 2017 wies das Obergericht ein erneutes Fristerstreckungsgesuch von A.A._, B.A._ und C.A._ ab. Gleichzeitig trat es auf deren Berufungen mangels Bezahlung der verlangten Kautionen nicht ein.
D.
A.A._, B.A._ und C.A._ beantragen mit Beschwerde in Strafsachen, der Nichteintretensentscheid vom 18. Oktober 2017 sei aufzuheben und die Sache sei zur materiellen Beurteilung an die Vorinstanz zurückzuweisen. Eventualiter sei ihnen eine neue Frist zur Leistung einer reduzierten Kaution anzusetzen.
E.
Das Obergericht, die Staatsanwaltschaft und die Beschwerdegegner 2-5 verzichteten auf eine Stellungnahme. Die übrigen Beschwerdegegner liessen sich nicht vernehmen.
Erwägungen:
1.
Beim angefochtenen Nichteintretensbeschluss handelt es sich um einen Teilentscheid im Sinne von Art. 91 lit. b BGG, da das Verfahren vor der Vorinstanz damit für die Beschwerdeführer, nicht jedoch für weitere Berufungskläger, abgeschlossen ist. Gegen den Teilentscheid ist die Beschwerde in Strafsachen an das Bundesgericht zulässig (vgl. Art. 91 lit. b BGG; BGE 134 III 379 E. 1.1 S. 381 f.; Urteil 6B_701/2011 vom 21. Mai 2012 E. 1, nicht publ. in: BGE 138 IV 193).
2.
2.1. Die Beschwerdeführer rügen, mit dem Wegfall der ursprünglich beantragten Stellung als Privatkläger hätte nach Art. 383 StPO notwendigerweise auch die Kautionspflicht entfallen müssen. Nach dem Konzept der StPO könne zwar die Privatklägerschaft, nicht aber die beschuldigte Person zu einer Sicherheitsleistung verpflichtet werden. Gleiches gelte für die weiteren Verfahrensbeteiligten. Die Vorinstanz habe zu Unrecht an den Kautionen festgehalten.
2.2. Gemäss Art. 383 Abs. 1 StPO kann die Verfahrensleitung der Rechtsmittelinstanz die Privatklägerschaft verpflichten, innert einer Frist für allfällige Kosten und Entschädigungen Sicherheit zu leisten; Art. 136 StPO betreffend die unentgeltliche Rechtspflege für die Privatklägerschaft bleibt vorbehalten. Die Sicherheitsleistung nach Art. 383 Abs. 1 StPO bezweckt die Sicherung allfälliger Kosten- und Entschädigungsansprüche des Staats und der beschuldigten Person (Urteil 1B_323/2014 vom 17. Dezember 2014 E. 3.3; SCHMID/JOSITSCH, Schweizerische Strafprozessordnung, Praxiskommentar, 3. Aufl. 2018, N. 2 zu Art. 383 StPO). Die Kosten- und Entschädigungspflicht der Privatklägerschaft im Rechtsmittelverfahren (vgl. Art. 428 Abs. 1 StPO, Art. 436 Abs. 1 i.V.m. Art. 432 StPO; BGE 139 IV 45 E. 1 S. 46 ff.; siehe allerdings auch BGE 141 IV 476 E. 1 S. 478 ff.) bildet das Gegenstück zu deren sehr weitgehenden Rechtsmittelbefugnissen. Um die Vollstreckung allfälliger Kosten- und Entschädigungsansprüche zu gewährleisten, schuf der Gesetzgeber die Möglichkeit, von der Privatklägerschaft entsprechende Sicherheiten zu verlangen (Urteil 6B_814/2013 vom 28. November 2013 E. 2.2.2; BBl 2006 1308 Ziff. 2.9.1 zu Art. 391). Die Sicherheitsleistung nach Art. 383 Abs. 1 StPO ist an keine Voraussetzungen gebunden. Dies gilt unbesehen der Frage, ob die Privatklägerschaft ein Rechtsmittel nur im Strafpunkt oder auch im Zivilpunkt erhebt (Urteil 6B_814/2013 vom 28. November 2013 E. 2.2.1).
2.3. Art. 383 Abs. 1 StPO erwähnt ausschliesslich die Privatklägerschaft. Nach dem Konzept der Schweizerischen Strafprozessordnung kann zwar die Privatklägerschaft, nicht aber die beschuldigte Person zu einer Sicherheitsleistung verpflichtet werden. Die beschuldigte Person kann erst im Verfahren vor Bundesgericht zu einer Vorschussleistung (Art. 62 f. BGG) angehalten werden. Dies wird damit begründet, dass der beschuldigten Person der Zugang zu einer Rechtsmittelinstanz gemäss Art. 6 EMRK nicht erschwert werden soll bzw. ihre Verteidigungsrechte nicht in einer nicht zu rechtfertigenden Weise eingeschränkt werden sollen (zum Ganzen Urteil 1B_332/2012 vom 15. August 2012 E. 3.4; BBl 2006 1308 f.). Nach der bundesgerichtlichen Rechtsprechung ist es auch unzulässig, bei der beschuldigten Person im Rahmen einer kantonalen Beschwerde gegen eine Beschlagnahme, d.h. in einem Nebenverfahren, gestützt auf eine kantonale Gerichtskostenverordnung eine Sicherheitsleistung in Form einer "Einschreibgebühr" zu erheben (Urteil 1B_332/2012 vom 15. August 2012 E. 3.4).
Nach NIKLAUS OBERHOLZER sollen auch andere Verfahrensbeteiligte (vgl. Art. 105 StPO) nicht verpflichtet werden können, für allfällige Kosten und Entschädigungen Sicherheit zu leisten (NIKLAUS OBERHOLZER, Das Rechtsmittelsystem der Schweizerischen Strafprozessordnung - Beschwerde, Berufung, Revision, AJP 2011 S. 39 ff., 44). Andere Autoren äussern sich nicht explizit zur Frage der Anwendbarkeit von Art. 383 StPO auf andere Verfahrensbeteiligte. Betont wird aber, dass nur die Privatklägerschaft in Anwendung von Art. 383 Abs. 1 StPO zur Kautionsleistung angehalten werden kann (ZIEGLER/KELLER, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2. Aufl. 2014, N. 1 zu Art. 383 StPO). Gemäss SCHMID/JOSITSCH ist Art. 383 StPO analog anwendbar, wenn Geschädigte Ansprüche aus Einziehungsrecht (Art. 70 Abs. 1 letzter Satzteil und Art. 73 StGB) auf dem Rechtsmittelweg durchzusetzen versuchen (vgl. SCHMID/JOSITSCH, Schweizerische Strafprozessordnung, Praxiskommentar, 3. Aufl. 2018, N. 1 zu Art. 383 StPO).
2.4. Gegen die Beschwerdeführer wurden im vorliegenden Strafverfahren keine strafrechtlichen Vorwürfe erhoben. Das Bezirksgericht verpflichtete sie als durch die Straftaten angeblich Begünstigte jedoch gestützt auf Art. 71 Abs. 1 StGB zur Bezahlung von Ersatzforderungen in der Höhe von Fr. 150'000.--, Fr. 685'000.-- bzw. Fr. 30'000.-- an den Staat. Die Beschwerdeführer nahmen am Strafverfahren gegen den Beschuldigten daher als durch Verfahrenshandlungen beschwerte Dritte und damit als andere Verfahrensbeteiligte im Sinne von Art. 105 Abs. 1 lit. f StPO teil. Durch eine Einziehung oder Beschlagnahme beschwerte (nicht beschuldigte) Dritte müssen sich - wie die beschuldigte Person - gegen einen staatlichen Eingriff in ihre Rechte zur Wehr setzen können. Ihre Stellung ist insofern vergleichbar mit derjenigen einer beschuldigten Person, deren Vermögenswerte beschlagnahmt oder eingezogen wurden. Es entspricht daher nicht nur dem Wortlaut von Art. 383 Abs. 1 StPO, sondern auch dem Sinn und Zweck der personellen Beschränkung dieser Bestimmung auf die Privatklägerschaft, dass von ihnen keine Sicherheitsleistung im Sinne von Art. 383 Abs. 1 StPO verlangt werden darf.
2.5. Die Vorinstanz argumentierte in der Präsidialverfügung vom 7. September 2017 unter Berufung auf NIKLAUS SCHMID, nicht nur die Privatklägerschaft, sondern auch Verfahrensbeteiligte, welche Ansprüche aus Einziehungsrecht geltend machen würden, könnten verpflichtet werden, für allfällige Kosten und Entschädigungen Sicherheit zu leisten. Die Beschwerdeführer weisen zutreffend darauf hin, dass die von der Vorinstanz zitierte Kommentarstelle (vgl. SCHMID/JOSITSCH, Schweizerische Strafprozessordnung, Praxiskommentar, 3. Aufl. 2018, N. 1 zu Art. 383 StPO; siehe oben E. 2.3) nicht in diesem Sinne verstanden werden kann. Die Kommentatoren sprechen darin den Fall an, dass eine durch eine Straftat geschädigte Person geltend macht, der Einziehung unterliegende Vermögenswerte seien ihr zur Wiederherstellung des rechtmässigen Zustands auszuhändigen (Art. 70 Abs. 1 letzter Satzteil StGB) bzw. eingezogene Gegenstände und Vermögenswerte, deren Verwertungserlös oder Ersatzforderungen seien ihr zur Deckung ihres Schadens oder einer Genugtuung zuzusprechen (Art. 73 Abs. 1 lit. b und c StGB). Dies war vorliegend nicht der Fall. Die Beschwerdeführer können als durch eine Einziehung Beschwerte nicht mit Privatklägern oder Geschädigten, die gestützt auf Art. 70 Abs. 1 letzter Satzteil oder Art. 73 Abs. 1 lit. b und c StGB Ansprüche geltend machen, gleichgestellt werden.
2.6. Die Rüge der Beschwerdeführer ist begründet. Die Vorinstanz durfte von diesen als anderen Verfahrensbeteiligten im Sinne von Art. 105 Abs. 1 lit. f StPO keine Sicherheitsleistungen für die Deckung allfälliger Kosten- und Entschädigungsansprüche verlangen. Damit braucht auf das weitere Vorbringen der Beschwerdeführer betreffend die Höhe der verlangten Kautionen nicht mehr eingegangen zu werden.
3.
Die Beschwerden sind gutzuheissen und der Nichteintretensbeschluss vom 18. Oktober 2017 sowie die Präsidialverfügungen vom 7. September und 3. Oktober 2017 aufzuheben. Es sind keine Kosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Kanton Zürich hat die Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerden werden gutgeheissen. Der Beschluss des Obergerichts des Kantons Zürich vom 18. Oktober 2017 und die Präsidialverfügungen vom 7. September und 3. Oktober 2017 werden aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Zürich hat die Beschwerdeführer für das bundesgerichtliche Verfahren je mit Fr. 1'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 17. Januar 2018
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Die Gerichtsschreiberin: Unseld