Sachverhalt:
A.
A.a. Das Bezirksgericht Winterthur verurteilte X._ am 20. Januar 2011 wegen Erpressung, Freiheitsberaubung, mehrfacher, teilweise versuchter einfacher Körperverletzung, mehrfacher Drohung, mehrfacher, teilweise versuchter Nötigung, Hausfriedensbruchs, mehrfacher Pornografie, grober Verkehrsregelverletzung, unbefugten Aufnehmens von Gesprächen, mehrfacher Tätlichkeiten, geringfügiger Sachbeschädigung, geringfügigen betrügerischen Missbrauchs einer Datenverarbeitungsanlage und mehrfacher Übertretung des Betäubungsmittelgesetzes. Es belegte ihn mit einer bedingten Freiheitsstrafe von 15 Monaten sowie einer Busse von Fr. 2'000.-- und ordnete eine ambulante Behandlung im Sinne von Art. 63 StGB an. Zudem erklärte es die mit Urteil des Bezirksgerichts Winterthur am 8. Februar 2006 bedingt ausgefällte Freiheitsstrafe von 8 Monaten für vollziehbar. Gegen dieses Urteil erhoben X._ und die Staatsanwaltschaft Berufung.
A.b. Das Obergericht des Kantons Zürich bestätigte am 15. Dezember 2011 den erstinstanzlichen Schuldspruch wegen grober Verkehrsregelverletzung. Die übrigen Schuldsprüche erwuchsen unangefochten in Rechtskraft. Es verurteilte X._ am 28. Januar 2013 zu einer unbedingten Freiheitsstrafe von 33 Monaten und einer Busse von Fr. 2'000.--. Es verzichtete auf den Vollzug der am 8. Februar 2006 bedingt ausgesprochenen Freiheitsstrafe und verlängerte die Probezeit um 1 1⁄2 Jahre. Von einer ambulanten Behandlung sah es ab.
A.c. Dagegen führte X._ Beschwerde in Strafsachen, welche das Bundesgericht teilweise guthiess. Es hob das Urteil des Obergerichts vom 15. Dezember 2011 sowie 28. Januar 2013 auf und wies die Sache zur Neubeurteilung an dieses zurück (Urteil 6B_274/2013 vom 5. September 2013).
B.
Am 24. Februar 2014 entschied das Obergericht erneut und verurteilte X._ wegen derselben Delikte zu einer unbedingten Freiheitsstrafe von 27 Monaten und einer Busse von Fr. 2'000.--. Es verzichtete auf den Vollzug der am 8. Februar 2006 bedingt ausgesprochenen Freiheitsstrafe und verlängerte die Probezeit um 1 1⁄2 Jahre. Eine ambulante Behandlung ordnete es nicht an.
C.
X._ beantragt mit Beschwerde in Strafsachen, das Urteil des Obergerichts sei aufzuheben und die Sache zur neuen Entscheidung an dieses zurückzuweisen. Er ersucht um unentgeltliche Rechtspflege.
Erwägungen:
1.
1.1. Der Beschwerdeführer wendet sich gegen die Strafzumessung. Die Vorinstanz habe das forensisch-psychiatrische Gutachten von Prof. Dr. med. A._ vom 30. Juli 2013 nicht berücksichtigt. Die Staatsanwaltschaft habe es in Auftrag gegeben, nachdem er am 1. Februar 2013 erneut handgreiflich geworden sei. Der Gutachter revidiere darin seinen früheren Befund. Im Gutachten vom 20. August 2012 habe jener bloss narzisstische Persönlichkeitsmerkmale diagnostiziert. Neu gehe er von einer narzisstischen Persönlichkeitsstörung aus.
Der Beschwerdeführer argumentiert weiter, er habe in seiner Berufungsantwort vom 11. Dezember 2013 auf die revidierten gutachterlichen Feststellungen hingewiesen und deutlich gemacht, dass er im Zeitpunkt der Straftaten in seiner Steuerungsfähigkeit leichtgradig vermindert gewesen sei. Es habe somit ein Strafmilderungsgrund im Sinne von Art. 19 Abs. 2 i.V.m. Art. 48a StGB bestanden, der hätte berücksichtigt werden müssen.
1.2. Die Vorinstanz erwägt im angefochtenen Urteil, der Beschwerdeführer habe vor Bundesgericht nur gerügt, sie sei bei der Strafzumessung falsch vorgegangen. Im Rückweisungsentscheid halte das Bundesgericht dazu fest, bei der Bildung der Gesamtstrafe sei nicht die erforderliche Gesamtwürdigung vorgenommen worden, weshalb die Strafe neu festzusetzen sei. Gegenstand des Berufungsverfahrens bilde somit nur noch die gegen den Beschwerdeführer auszufällende Strafe und deren Vollzug. Als ebenfalls angefochten habe die Kostenregelung zu gelten. Demgegenüber seien der Schuldpunkt und die Massnahme nicht mehr Prozessgegenstand.
Zum Einwand des Beschwerdeführers, es sei von einer leichtgradig verminderten Steuerungsfähigkeit auszugehen, erwägt die Vorinstanz, gemäss dem Rückweisungsentscheid des Bundesgerichts würden die im Gutachten vom 20. August 2012 erwähnten narzisstischen Persönlichkeitsmerkmale, die im Deliktszeitpunkt die Diagnoseschwelle einer Persönlichkeitsstörung nicht erreicht hätten, nicht zu einer verminderten Schuldfähigkeit führen. Gleiches gelte für die Eifersucht des Beschwerdeführers. Es sei ihr verwehrt, diesen Punkt erneut zu überprüfen. Das Bundesgericht habe in seinem Rückweisungsentscheid eine verminderte Schuldfähigkeit verneint.
1.3.
1.3.1. Vor Einführung des Bundesgerichtsgesetzes (BGG) durfte die kantonale Instanz, an die eine Sache zurückgewiesen wurde, nach Art. 66 Abs. 1 OG neues Vorbringen berücksichtigen, soweit es nach dem kantonalen Prozessrecht noch zulässig war (vgl. auch Art. 277ter BStP). Die nach kantonalem Prozessrecht zulässigen Noven hatten sich innerhalb des rechtlichen Rahmens zu bewegen, den das Bundesgericht mit seinem Rückweisungsentscheid vorgegeben hatte. Der von der Rückweisung erfasste Streitpunkt durfte also nicht ausgeweitet oder auf eine neue Rechtsgrundlage gestellt werden. Die mit der Neubeurteilung befasste kantonale Instanz hatte vielmehr die rechtliche Beurteilung, mit der die Rückweisung begründet wurde, ihrer Entscheidung zugrunde zu legen. Diese Beurteilung band auch das Bundesgericht. Wegen dieser Bindung der Gerichte war es ihnen wie auch den Parteien, abgesehen von allenfalls zulässigen Noven, verwehrt, der Beurteilung des Rechtsstreits einen anderen als den bisherigen Sachverhalt zu unterstellen oder die Sache unter rechtlichen Gesichtspunkten zu prüfen, die im Rückweisungsentscheid ausdrücklich abgelehnt oder überhaupt nicht in Erwägung gezogen worden waren. Wie weit die Gerichte und Parteien an die erste Entscheidung gebunden waren, ergab sich aus der Begründung der Rückweisung, die sowohl den Rahmen für die neuen Tatsachenfeststellungen als auch jenen für die neue rechtliche Begründung vorgab (zum Ganzen BGE 135 III 334 E. 2 mit zahlreichen Hinweisen auf die Rechtsprechung des Bundesgerichts).
1.3.2. Entsprechende Bestimmungen finden sich im BGG nicht, da die Bindung der kantonalen Instanz an den Rückweisungsentscheid als selbstverständlich angesehen wurde (vgl. Botschaft vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege, BBl 2001 4346 Ziff. 4.1.4.5 zu Art. 101 E-BGG am Ende). Daher besteht kein Anlass, unter der Herrschaft des BGG von der zu Art. 66 Abs. 1 OG ergangenen Rechtsprechung abzuweichen (BGE 135 III 334 E. 2.1).
1.3.3. Die kantonale Instanz hat sich bei der neuen Entscheidung auf das zu beschränken, was sich aus den Erwägungen des Bundesgerichts als Gegenstand der neuen Beurteilung ergibt. Wird eine Beschwerde in Strafsachen gutgeheissen und das vorinstanzliche Urteil aufgehoben, soll das Verfahren nicht als Ganzes neu in Gang gesetzt werden, sondern nur insoweit, als dies notwendig ist, um den verbindlichen Erwägungen des Bundesgerichts Rechnung zu tragen. In den Grenzen des Verbots der reformatio in peius kann sich dabei die neue Entscheidung auch auf Punkte beziehen, die vor Bundesgericht nicht angefochten waren, sofern dies der Sachzusammenhang erfordert (BGE 123 IV 1 E. 1; 117 IV 97 E. 4; Urteil 6S.270/2003 vom 28. November 2003 E. 3.2.1 und 3.3.1).
1.4.
1.4.1. Der Beschwerdeführer hält dafür, der bundesgerichtliche Rückweisungsentscheid lasse Raum für eine erneute Überprüfung der Frage, ob die Strafe wegen verminderter Schuldfähigkeit im Sinne von Art. 19 Abs. 2 StGB zu mildern sei.
1.4.2. Der Beschwerdeführer rügte in seiner Beschwerde gegen das Urteil vom 15. Dezember 2011 und 28. Januar 2013 eine Verletzung von Art. 49 Abs. 1 StGB. Das Bundesgericht erwog, die Vorinstanz habe bei der Bildung der Gesamtstrafe die erforderliche Gesamtwürdigung nicht vorgenommen. Die von vornherein nur geringfügige Berücksichtigung des Asperationsprinzips verbunden mit der Straferhöhung wegen erneuter Delinquenz während des hängigen Strafverfahrens habe im Ergebnis zu einer Strafenkumulation geführt. Es wies die Vorinstanz an, die Strafe unter Beachtung der diesbezüglichen Erwägungen neu festzusetzen (Rückweisungsentscheid E. 1).
1.4.3. Der Beschwerdeführer machte weiter geltend, die Vorinstanz habe eine verminderte Schuldfähigkeit zu Unrecht verneint. Das Bundesgericht erklärte dazu, die Vorinstanz sei vom zutreffenden Begriff der verminderten Schuldfähigkeit ausgegangen. Sie habe für die Beurteilung der Schuldfähigkeit auf das Gutachten vom 20. August 2012 abgestellt, welches für den Tatzeitpunkt eine volle Einsichts- und Steuerungsfähigkeit annehme und eine alltagsrelevante psychische Störung des Beschwerdeführers verneine. Die in diesem Gutachten erwähnten narzisstischen Persönlichkeitsmerkmale, die im Deliktszeitpunkt die Diagnoseschwelle einer Persönlichkeitsstörung nicht erreicht hätten, würden nicht zur Annahme einer verminderten Schuldfähigkeit führen. Gleiches gelte für die vom Beschwerdeführer angesprochene Eifersuchtsproblematik (Rückweisungsentscheid E. 2).
1.5.
1.5.1. Nach der Rückweisung durch das Bundesgericht war nur noch die Bildung der Gesamtstrafe Prozessgegenstand (vgl. E. 1.4.2), während die Frage der Strafmilderung wegen verminderter Schuldfähigkeit nicht mehr offen war (vgl. E. 1.4.3). Das Verfahren war nicht mehr auf diese Frage auszudehnen.
1.5.2. In BGE 117 IV 97 erwog das Bundesgericht, das aufgehobene Urteil sei nicht nur in dem Punkt abzuändern, der unmittelbar Gegenstand des durch das Bundesgericht auf Nichtigkeitsbeschwerde hin gefällten Urteils bildete. Gegebenenfalls seien auch weitere Urteilspunkte abzuändern, auf die sich die andere Beurteilung einer Rechtsfrage durch das Bundesgericht in der Weise auswirkt, dass sich in diesen sonst ein bundesrechtswidriger Entscheid der kantonalen Instanz ergäbe (E. 4b). Dies ist vorliegend nicht der Fall. Die korrekte Vornahme der Gesamtstrafenbildung hat keine Auswirkungen auf die Frage, ob der Beschwerdeführer beschränkt schuldfähig war.
1.5.3. Daran ändert nichts, dass das Bundesgericht formell das ganze vorinstanzliche Urteil aufgehoben hat. Entscheidend ist insoweit nicht das Dispositiv, sondern die materielle Tragweite des bundesgerichtlichen Urteils. Es ist folglich danach zu fragen, ob damit das ursprüngliche kantonale Urteil insgesamt oder nur teilweise aufgehoben werden sollte (vgl. dazu BGE 122 I 250 E. 2; siehe auch Urteil 6B_372/2011 vom 12. Juli 2011 E. 1.3.2).
1.5.4. Unerheblich ist auch, dass die neuen gutachterlichen Ausführungen vom 30. Juli 2013 nach der Ausfällung des Urteils vom 28. Januar 2013 entstanden, weshalb sie nicht mehr rechtzeitig eingebracht werden konnten. Das kantonale Gericht, an welches zurückgewiesen wird, darf über Tatfragen nur insoweit neu verhandeln, als es aufgrund des bundesgerichtlichen Rückweisungsentscheids noch zulässig ist.
1.5.5. Die Vorinstanz sah sich von Bundesrechts wegen an den bundesgerichtlichen Rückweisungsentscheid gebunden. Sie beurteilte dessen Tragweite zutreffend. Entsprechend sah sie zu Recht davon ab, die Frage der verminderten Schuldfähigkeit im Berufungsverfahren erneut zu überprüfen. Seine Vorbringen vor Bundesgericht richten sich indessen im Ergebnis ausschliesslich gegen diesen Themenbereich. Dafür besteht kein Raum.
1.6. Die Beschwerde ist abzuweisen. Das Gesuch um unentgeltliche Rechtspflege ist infolge Aussichtslosigkeit der Beschwerde abzuweisen (Art. 64 Abs. 1 und 2 BGG). Der finanziellen Lage des Beschwerdeführers ist bei der Festsetzung der Gerichtskosten Rechnung zu tragen (Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Strafkammer, schriftlich mitgeteilt.
Lausanne, 24. November 2014
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Unseld