Erwägungen:
1.
1.1. Das Obergericht des Kantons Zürich stellte auf Berufung von A._ und der Staatsanwaltschaft fest, der Schuldspruch des Bezirksgerichts Zürich vom 4. Juli 2017 betreffend unbefugtes Eindringen in ein Datenverarbeitungssystem im Sinne von Art. 143bis Abs. 1 StGB sei in Rechtskraft erwachsen. Es verurteilte X._ überdies wegen versuchter Nötigung (Art. 181 i.V.m. Art. 22 Abs. 1 StGB). Von der Anklage der Drohung (Art. 180 Abs. 1 StGB) und der Tätlichkeiten (Art. 126 StGB) sprach es ihn frei. Es bestrafte ihn mit einer bedingten Geldstrafe von 110 Tagessätzen zu Fr. 10.--, wovon 35 Tagessätze durch Untersuchungshaft geleistet gelten.
1.2. X._ beantragt mit Beschwerde in Strafsachen, das vorinstanzliche Urteil hinsichtlich des Schuldspruchs wegen versuchter Nötigung sowie der entsprechenden Kostenfolgen aufzuheben und ihn freizusprechen. Es sei ihm die unentgeltliche Rechtspflege (und Verbeiständung) zu bewilligen.
2.
2.1. Der Beschwerdeführer rügt eine willkürliche Sachverhaltsfeststellung und die Verletzung des Grundsatzes in dubio pro reo in seinem Aspekt als Beweiswürdigungsmaxime. Unter diesem Aspekt geht der Anwendungsbereich des in dubio-Grundsatzes nicht über Art. 9 BV hinaus. Nach der bundesgerichtlichen Rechtsprechung ist Willkür in der Beweiswürdigung anzunehmen, wenn die angefochtene Entscheidung schlechterdings unhaltbar ist, nicht bereits wenn eine andere Lösung ebenfalls möglich erschiene (BGE 143 IV 241 E. 2.3.1 S. 244).
2.2. Der Beschwerdeführer macht geltend, die Vorinstanz habe trotz zahlreicher Ungereimtheiten die Aussagen der Beschwerdegegnerin als glaubhafter eingestuft; dafür wäre aber entscheidend, ob sie unter Berücksichtigung der Umstände, der intellektuellen Leistungsfähigkeit und Motivlage eine solche Aussage auch ohne realen Erlebnishintergrund machen könnte (BGE 129 I 49 E. 5 S. 58 f.). Wie die Vorinstanz feststelle, könnten aufgrund familiärer Verflechtungen und Spannungen die Parteien ein über das übliche Mass hinausgehendes Interesse daran haben, den Ausgang des Verfahrens je einseitig zu ihren Gunsten zu beeinflussen. Schon aus diesen Gründen sei es, wie die Vorinstanz feststelle, gerechtfertigt, die Aussagen beider Parteien mit einer gewissen Vorsicht zu würdigen. Die Vorinstanz habe diese Vorsicht offensichtlich missen lassen.
2.3. Die Vorinstanz kommt unter Würdigung der Aussagen zum Ergebnis, wie diesen zu entnehmen sei, deckten sich die Darstellungen der Parteien "in nicht unwesentlichem Umfang". So bestreite der Beschwerdeführer weder, sich die gemäss ihrer beider Tradition und Herkunft ehrenrührigen Fotos dank eines gestohlenen Passworts aus dem iCloud-Account der Beschwerdegegnerin beschafft zu haben, noch dass er solche Fotos an ihren Bruder versandt hatte mit dem Ziel, dass dieser ordnend in das Leben der Beschwerdegegnerin, die er einer Affaire verdächtigte, eingreifen sollte; dass diese darob geschockt und wütend gewesen sei und es zu einem Streitgespräch gekommen sei, in dessen Verlauf sowohl das Sorgerecht über die Töchter, welches er erhalten wollte, zur Sprache kam, als auch Geldzahlungen. Vor diesem Hintergrund überzeuge nicht, dass er nicht die (weitere) Veröffentlichung der Bilder angedroht und Geld sowie das Sorgerecht für die Töchter verlangt habe. Vielmehr passe diese Androhung nach Ton und Chronologie genau in den geschilderten Ablauf des verbalen Streits und die dort zur Sprache gekommenen Themen. Mithin erschienen die Aussagen der Beschwerdeführerin auch dort, wo sie vom Beschwerdeführer nicht explizit als zutreffend anerkannt werden, als überaus glaubhaft, authentisch und nachvollziehbar (Urteil S. 12 f.).
Der Einwand des Beschwerdeführers vermag keine Willkür in dieser Folgerung aufzuzeigen und nicht durchzudringen, wenn er geltend macht, deckungsgleich seien die Aussagen hinsichtlich des konkreten Nötigungsvorwurfs gerade nicht, obwohl einzig dies wesentlich wäre (Beschwerde S. 5). Die Vorinstanz stellt keineswegs fest, die Aussagen seien in diesem Punkt "deckungsgleich", sondern sie deckten sich in einem nicht unwesentlichen Umfang. Die Aussagen konnten nicht deckungsgleich sein, da der Beschwerdeführer den "konkreten Nötigungsvorwurf" gerade bestritt. Die Vorinstanz ignoriert damit auch nicht den nach dem Beschwerdeführer "zentralen Punkt", nämlich den genauen Ablauf des Gesprächs und die Frage " wie die Beschwerdeführerin genötigt worden sein soll" (Beschwerde S. 6).
Die Vorinstanz kann nur insoweit einen "genauen Ablauf" rekonstruieren, als die Aussagen dazu die Grundlage abgeben. Dennoch kann sie die Aussagen würdigen (dass ist denn auch ihre Pflicht), und aufgrund dieser Würdigung die Intentionen der beiden Kontrahenten eruieren und daraus auf die Willensrichtung schliessen, nämlich die Beschwerdegegnerin zu veranlassen, etwas zu tun, zu unterlassen oder zu dulden (Art. 181 Abs. 1 StGB), was er (der Beschwerdeführer), aber nicht sie (die Beschwerdeführerin) wollte - bzw. einen solchen Sachverhalt zu verneinen.
Indem der Beschwerdeführer die Frage, ob er weitere Fotos in den Irak schicken würde oder nicht, kausal mit der Übertragung des Sorgerechts verknüpfte, machte er sich der (versuchten) Nötigung im Sinne von Art. 181 StGB schuldig (Urteil S. 16). Dass er dazu in der Lage war, kompromittierende Fotos zu versenden (Tatmacht), hatte er zu diesem Zeitpunkt bereits bewiesen. Ihm war absolut bewusst, dass dies für die Beschwerdeführerin einem Gesichtsverlust und einer öffentlichen Entehrung gleichkommen würde. Damit ist die Qualifikation als Androhung eines ernstlichen Nachteils erfüllt, zumal er wusste (und auch genau dies bezweckte), dass die Zustellung der Fotos zu einer Intervention und Einflussnahme des Bruders auf die Lebensführung der Beschwerdeführerin führen würde (Urteil S. 16). Da sie nicht auf seine Forderung einging, blieb es beim Versuch (Urteil S. 17).
Die Androhung passt "nach Ton und Chronologie" (Urteil S. 13) in den geschilderten Ablauf (entgegen der Beschwerde S. 8). So erklärte der Beschwerdeführer vor der Erstinstanz, er habe die Fotos ihrem Bruder geschickt, um diesen darüber zu informieren, dass seine Exfrau eine Beziehung mit einem anderen Menschen habe. Der Bruder hätte das Problem lösen sollen. Diese Bilder seien sehr heikel, eine Schande. Falls ein Fremder diese Aufnahmen sehe, sei das eine grosse Schande für die Familie und die Frau selbst (Urteil S. 11).
Es verbleiben keine offensichtlich erheblichen bzw. schlechterdings nicht zu unterdrückenden Zweifel an der Schuld des Beschwerdeführers (entgegen der Beschwerde S. 8). Es ist auf das ausführliche Urteil zu verweisen.
3.
Die Beschwerde ist abzuweisen. Der Beschwerdeführer beantragt die unentgeltliche Rechtspflege (und Verbeiständung). Bei konträren kantonalen Strafurteilen erscheint eine Beschwerdeführung regelmässig vertretbar (Urteil 6B_899/2017 vom 3. Mai 2018 E. 3). Angesichts der für sich genommen wenig "komplexen" Sachfrage (vgl. dagegen das zur Veröffentlichung in der amtlichen Sammlung vorgesehene Urteil 6B_1023/2017 vom 25. April 2018 E. 8) und der eingehenden tatsächlichen vorinstanzlichen Auseinandersetzung und Würdigung konnte der Beschwerdeführer nicht ernsthaft von einer Gutheissung der Willkür-Beschwerde ausgehen. Das Rechtsbegehren musste vielmehr von vornherein aussichtslos erscheinen (Art. 64 Abs. 1 BGG; BGE 142 III 138 E. 5.1 S. 139 f.). Der Beschwerdeführer bringt vor, er beziehe eine IV-Rente und werde ergänzend vom Sozialdienst unterstützt (Beschwerde S. 8; vgl. Urteil S. 23). Es ist mithin von einer Mittellosigkeit auszugehen. Daher sind die Gerichtskosten praxisgemäss herabzusetzen (Art. 66 Abs. 1 i.V.m. Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Dem Beschwerdeführer werden die Gerichtskosten von Fr. 1'200.-- auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 15. August 2018
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Der Gerichtsschreiber: Briw