Erwägungen:
1.
Das Bundesgericht trat mit Urteil 6B_687/2017 vom 20. Juli 2017 auf eine Beschwerde des Gesuchstellers gegen den Beschluss des Obergerichts des Kantons Zürich vom 3. Mai 2017 androhungsgemäss nicht ein, weil dieser den Kostenvorschuss von Fr. 3'000.-- auch innert der Nachfrist nicht bezahlte.
Der Gesuchsteller gelangt mit einem Revisionsgesuch an das Bundesgericht. Er macht geltend, er habe als Laie nicht erfassen können, dass die Nichtbezahlung des Kostenvorschusses bzw. das Unterbleiben eines Antrags auf unentgeltliche Rechtspflege dazu führe, dass auf die Beschwerde nicht eingetreten werde. Er habe sich insofern in einem Irrtum befunden, als in der Schrift des Bundesgerichts vom 6. Juli 2017 [recte: wohl Verfügung vom 3. Juli 2017] angeführt werde, dass seine Beschwerde gleichwohl anhängig bleibe, auch wenn der Kostenvorschuss nicht bezahlt werde. Die Vorschussleistung für Verfahrenskosten in einer Strafsache verstosse gegen die Unschuldsvermutung und sei mit Art. 6 EMRK unvereinbar.
2.
Das Bundesgericht kann auf ein eigenes Urteil nur zurückkommen, wenn einer der vom Gesetz (Art. 121-123 BGG) abschliessend aufgezählten Revisionsgründe vorliegt. Aus <ref-law> ergibt sich, dass es dem Gesuchsteller obliegt, aufzuzeigen, welcher Revisionsgrund inwiefern vorliegen soll.
3.
Der Gesuchsteller bezieht sich in seiner Eingabe nirgends auf einen der gesetzlichen Revisionsgründe. Es ist auch nicht ersichtlich, dass und inwiefern ein solcher vorliegen könnte. Der Gesuchsteller wurde in der Verfügung des Bundesgerichts vom 3. Juli 2017 ausdrücklich darauf aufmerksam gemacht, dass auf die Beschwerde nicht eingetreten wird, wenn der Kostenvorschuss auch innert der Nachfrist nicht bezahlt wird. Nicht nachvollziehbar ist, woraus dieser hätte ableiten können, seine Beschwerde werde auch bei einer Nichtbezahlung des Kostenvorschusses behandelt, zumal er nie ein Gesuch um unentgeltliche Rechtspflege stellte und er das Bundesgericht auch nie auf seine angeblich prekären finanziellen Verhältnisse hinwies. Die Pflicht zur Bezahlung eines Kostenvorschusses ergibt sich aus <ref-law>. Die Bestimmung ist nach ständiger Praxis des Bundesgerichts auch in Strafsachen anwendbar. Weder dargetan noch ersichtlich ist, inwiefern dies gegen die Unschuldsvermutung verstossen könnte.
4.
Auf das Revisionsgesuch ist nicht einzutreten. Die Gerichtskosten sind dem Gesuchsteller aufzuerlegen (<ref-law>). Das Gesuch um unentgeltliche Rechtspflege ist wegen Aussichtslosigkeit der Rechtsbegehren abzuweisen (<ref-law>). Der finanziellen Situation des Gesuchstellers ist bei der Bemessung der Gerichtskosten Rechnung zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf das Revisionsgesuch wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'200.-- werden dem Gesuchsteller auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 5. September 2017
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Die Gerichtsschreiberin: Unseld