Sachverhalt:
A.
A.a. A._, geb. 1969, arbeitete als Serviceangestellte, als sie am 27. Dezember 2005 beim Fensterputzen aus ca. 3 m Höhe auf beide Hände stürzte. Dabei erlitt sie beidseits eine distale Radiusfraktur sowie Prellungen an Kopf und Knie. Am 23. April 2007 meldete sie sich unter Hinweis auf die Unfallfolgen bei der IV-Stelle des Kantons Zürich zum Leistungsbezug an. Die IV-Stelle sprach ihr mit Verfügung vom 27. März 2012 eine von Dezember 2006 bis November 2007 befristete ganze Rente zu. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 21. Oktober 2013 teilweise gut und sprach A._ eine von Dezember 2006 bis Februar 2008 befristete Rente zu. Dieser Entscheid blieb unangefochten.
A.b. Die Schweizerische Unfallversicherungsanstalt (Suva) hatte A._ aufgrund des Vorfalls vom 27. Dezember 2005 ab September 2009 eine Invalidenrente bei einem Invaliditätsgrad von 10 % und eine Integritätsentschädigung bei einer Integritätseinbusse von 17.5 % zugesprochen (Verfügung vom 26. August 2009, Einspracheentscheid vom 24. Juni 2010), was das Sozialversicherungsgericht im Entscheid vom 1. Februar 2012 bestätigte. Das Bundesgericht hiess die dagegen gerichtete Beschwerde mit Urteil 8C_244/2012 vom 14. Januar 2013 gut, hob den Entscheid vom 1. Februar 2012 sowie den Einspracheentscheid vom 24. Juni 2010 auf und wies die Sache zu neuer Abklärung und Verfügung an die Suva zurück. In der Folge holte die Suva bei Dr. med. B._, Leitender Arzt Handchirurgie, Spital C._, ein handchirurgisches Gutachten ein. Gestützt auf das Gutachten vom 18. September 2013 sprach sie der Versicherten mit Verfügung vom 9. Januar 2014 eine auf einer Erwerbsunfähigkeit von 61 % basierende Invalidenrente sowie eine Integritätsentschädigung bei einer Integritätseinbusse von 30 % zu.
A.c. Unter Hinweis auf die neuen Abklärungen der Unfallversicherung machte A._ am 20. März 2014 eine Verschlechterung ihres Gesundheitszustands geltend. Die IV-Stelle veranlasste daher eine polydisziplinäre Begutachtung durch die MGSG Medizinisches Gutachtenzentrum Region St. Gallen GmbH, Rorschach. Gestützt auf deren Gutachten vom 14. Dezember 2014 verneinte sie - wie vorbeschieden - in der Verfügung vom 30. August 2016 einen Anspruch auf eine Invalidenrente.
B.
Mit Entscheid vom 4. Januar 2018 wies das Sozialversicherungsgericht des Kantons Zürich die dagegen erhobene Beschwerde ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragt, es sei ihr, in Aufhebung des angefochtenen Entscheids, eine ganze Rente der Invalidenversicherung zuzusprechen.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; BGE 135 II 384 E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
1.2. Als Rechtsfrage gilt, ob der in rechtlicher Hinsicht (oder zur Beurteilung der strittigen Ansprüche) massgebliche Sachverhalt vollständig festgestellt wurde. Rechtsfrage ist sodann die Beachtung des Untersuchungsgrundsatzes bzw. der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG und der Anforderungen an den Beweiswert von Arztberichten (vgl. BGE 134 V 231 E. 5.1 S. 232). Bei den aufgrund dieser Berichte getroffenen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit sowie bei der konkreten Beweiswürdigung geht es um Sachverhaltsfragen (Urteil 8C_590/2015 vom 24. November 2015 E. 1, nicht publ. in BGE 141 V 585; BGE 132 V 393 E. 3.2 S. 397). Ob und in welchem Umfang die ärztlichen Feststellungen anhand der Indikatoren nach BGE 141 V 281 auf Arbeitsunfähigkeit schliessen lassen, ist wiederum eine frei überprüfbare Rechtsfrage (BGE 141 V 281 E. 7 S. 308; Urteil 8C_181/2018 vom 7. August 2018 E. 1).
2.
2.1. Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie den mit der Neuanmeldung vom 20. März 2014 geltend gemachten Leistungsanspruch der Beschwerdeführerin verneinte.
2.2. Das kantonale Gericht legte die massgebenden gesetzlichen Bestimmungen und die dazu ergangene Rechtsprechung zutreffend dar. Dies betrifft insbesondere die Grundsätze zur Beurteilung der Invalidität bei psychischen Leiden im Rahmen eines strukturierten Beweisverfahrens anhand der sogenannten Standardindikatoren (BGE 143 V 409 und 418 sowie 141 V 281), wobei das kantonale Gericht zutreffend festhält, dass gemäss BGE 143 V 409 und 418 sämtliche psychischen Erkrankungen einem solchen strukturierten Beweisverfahren zu unterziehen sind.
3.
3.1. Die Vorinstanz erwog im Wesentlichen, dass dem Gutachten der MGSG vom 14. Dezember 2014 voller Beweiswert zukomme. Darin stellten die Experten folgende Diagnosen mit Auswirkung auf die Arbeitsfähigkeit: eine leichte Arthrose im distalen Radioulnargelenk sowie im Radiocarpalgelenk mit fortgeschrittener Degeneration des triangulären fibrocartilaginären Komplexes (TFCC) bei leichter Ulna-plus-Variante nach Korrekturosteotomie des distalen Radius mit Span-Interposition (November 2006), Osteosynthesematerialentfernung und Spalten des Retinaculum flexorum (September 2007) nach konservativ in Fehlstellung verheilter distaler Radiusfraktur rechts (Dezember 2005), eine fortgeschrittene retropatelläre Chondropathie bei Nullachse und kleiner Kniekehlenzyste rechts sowie eine rezidivierende depressive Störung mit leichten bis mittelgradigen depressiven Episoden, bestehend etwa seit 2006 (ICD 10 F33.0, F33.11). Ohne Auswirkungen auf die Arbeitsfähigkeit diagnostizierten sie eine Bursitis subacromialis rechts, eventuell auch links, einen Status nach konservativer Behandlung einer distalen Radiusfraktur links (Dezember 2005), einen Verdacht auf retropatelläre Chondropathie links, Senk-Spreizfüsse, eine leichte laterale Bandinstabilität am linken oberen Sprunggelenk, eine anhaltende somatoforme Schmerzstörung (ICD-10 F.45.5), Migräne ohne Aura, eine Hyperthyreose sowie einen anhaltenden Nikotinkonsum. Aufgrund dieser Diagnosen betrage die Arbeitsfähigkeit in einer leidensangepassten Tätigkeit in somatischer Hinsicht 100 % und in psychischer Hinsicht 80 % (bei vollem Stundenpensum).
3.2. Gestützt auf die gutachterlichen Ausführungen schloss das kantonale Gericht, dass in somatischer Hinsicht eine 100%ige Arbeitsfähigkeit in einer leidensangepassten Tätigkeit gegeben sei. Sodann prüfte es anhand der Standardindikatoren gemäss BGE 141 V 281, ob aufgrund der psychiatrischen Diagnosen eine Arbeitsunfähigkeit ausgewiesen sei. Es kam zum Ergebnis, dass diese keine erheblichen Einschränkungen des Leistungsvermögens zeige. Daher bestehe ein substantielles Leistungsvermögen, und es sei nicht zu beanstanden, dass die Gutachter der MGSG der anhaltenden somatoformen Schmerzstörung keine Auswirkung auf die Arbeitsfähigkeit zugemessen hätten. Bezüglich der depressiven Störung in leichtem bis mittelschweren Ausmass hielt das kantonale Gericht fest, dass der medizinisch attestierten Arbeitsunfähigkeit aus juristischer Sicht nicht gefolgt werden könne. Damit sei die psychische Beeinträchtigung bei der Bemessung der Arbeitsfähigkeit ausser Acht zu lassen. Nachdem einzig die somatischen Diagnosen zu berücksichtigen seien, bestehe nun eine volle Arbeitsfähigkeit in einer leidensangepassten Tätigkeit.
3.3. Angesichts der gestellten Diagnosen der anhaltenden somatoformen Schmerzstörung (ICD-10 F.45.5) und der rezidivierenden depressiven Störung mit leichten bis mittelgradigen depressiven Episoden (ICD 10 F33.0, F33.11) hat grundsätzlich ein strukturiertes Beweisverfahren nach BGE 141 V 281 zu erfolgen (s. nun auch BGE 143 V 409 und 418). Insofern genügt das Gutachten vom 14. Dezember 2014, in dem noch die inzwischen überholten sogenannten Foerster-Kriterien geprüft wurden, den bestehenden normativen Vorgaben nicht. Indessen verlieren gemäss altem Verfahrensstand eingeholte Gutachten nicht per se ihren Beweiswert. Vielmehr ist im Rahmen einer gesamthaften Prüfung des Einzelfalls mit seinen spezifischen Gegebenheiten und den erhobenen Rügen entscheidend, ob ein abschliessendes Abstellen auf die vorhandenen Beweisgrundlagen vor Bundesrecht standhält (BGE 141 V 281 E. 8 S. 309; 137 V 210 E. 6 S. 266). Mithin ist in jedem einzelnen Fall zu prüfen, ob die beigezogenen administrativen und/oder gerichtlichen Sachverständigengutachten - gegebenenfalls im Kontext mit weiteren fachärztlichen Berichten - eine schlüssige Beurteilung im Licht der massgeblichen Indikatoren erlauben oder nicht (Urteile 8C_756/2017 vom 7. März 2018 E. 5.2.1; 8C_300/2017 vom 1. Februar 2018 E. 4.2).
3.4.
3.4.1. Zum Komplex Gesundheitsschädigung, insbesondere zur Ausprägung der diagnoserelevanten Befunde und Symptome, lässt sich dem Gutachten lediglich entnehmen, dass die emotionale Belastbarkeit, die geistige Flexibilität, Antrieb, Interessen, Motivation und Dauerbelastbarkeit aufgrund der rezidivierenden depressiven Störung mit leichten bis mittelgradigen Episoden beeinträchtigt erscheinen würden. Bezüglich der Schmerzstörung verweisen die Gutachter auf subjektiv schwere und quälende Schmerzen. Die Vorinstanz machte bei diesem Indikator demgegenüber im Wesentlichen Ausführungen zu den somatischen Befunden, wobei sie einzig die Befunde im rechten Handgelenk und im rechten Knie als ausgeprägt erachtete, während weitere geklagte Schmerzen weniger ausgeprägt oder nur teilweise auf ein organisches Korrelat zurückzuführen seien. Daraus lassen sich keine zuverlässigen Aussagen zur Ausprägung der diagnoserelevanten Befunde und Symptome ableiten.
3.4.2. Was den Behandlungserfolg (bzw. -resistenz), als wichtiger Schweregradindikator einerseits (BGE 141 V 281 E. 4.3.1.2 S. 299 f.) und als bedeutsamer Aspekt für die Beurteilung der Konsistenz andererseits (vgl. BGE 141 V 281 E. 4.4.2 S. 304), anbelangt, berichtete der psychiatrische Gutachter der MGSG, Dr. med. D._, Facharzt für Psychiatrie und Psychotherapie, von unbefriedigenden Behandlungsergebnissen trotz konsequenter, langjähriger Behandlungsbemühungen bei vorhandener Motivation und Eigenverantwortung. Die Versicherte befinde sich seit 2006 in regelmässiger psychiatrischer und psychotherapeutischer Behandlung bei verschiedenen Fachärzten und Therapeuten. Trotzdem habe bisher keine Besserung erreicht werden können. Zwar bestünden noch therapeutische Optionen (stationäre oder teilstationäre Therapie, Intensivierung der antidepressiven Medikation). Es bleibt aber unklar, welche Prognosen sich daraus ergeben. So hielt Dr. med. D._ im Gutachten fest, dass stationäre oder teilstationäre Behandlungen nach dem langjährigen Krankheitsverlauf nicht zu einer wesentlichen Besserung des psychischen Zustandsbilds führen würden (zumal Hinweise für eine psychogene Überlagerung bestünden). Demgegenüber erachtete er solche Besserungen im Schreiben vom 25. Mai 2016 immerhin als möglich. Die Vorinstanz anerkannte aufgrund dieser Darstellung zwar einen gewissen Leidensdruck, schien diesem aber weder für den Komplex der Gesundheitsschädigung noch bei der Beurteilung der Konsistenz Bedeutung zuzumessen, da sie dazu keine weiteren Ausführungen machte.
3.4.3. In Bezug auf die Komorbidität hielt das kantonale Gericht sodann einzig fest, dass die depressive Störung keine gravierende Komorbidität darstelle. Die somatischen Befunde klammerte es hingegen gänzlich aus, obwohl unter diesem Punkt eine Gesamtbetrachtung der Wechselwirkungen und sonstigen Bezüge der Schmerzstörung (bzw. des psychischen Leidens) zu sämtlichen begleitenden krankheitswertigen Störungen - auch körperlicher Art - angezeigt wäre (BGE 141 V 281 E. 4.3.1.3 S. 301). So nahm es zum einen keine Stellung zu allfälligen ressourcenhemmenden Wirkungen der zahlreichen von den Experten diagnostizierten körperlichen Beschwerden (mit oder ohne Auswirkungen auf die Arbeitsfähigkeit), wobei sich allerdings auch dem Gutachten keine Hinweise zu solchen allfälligen Wechselwirkungen entnehmen lassen. Zum andern äusserte es sich insbesondere nicht zu den Rückenbeschwerden, die die Beschwerdeführerin im Lauf des Beschwerdeverfahrens geltend gemacht hatte, und beliess es hinsichtlich der behaupteten Ellbogen- und Schulterbeschwerden bei den Feststellungen, sie seien nicht gravierend bzw. organisch nicht hinreichend ausgewiesen.
3.4.4. Zu den Komplexen Persönlichkeit und sozialer Kontext enthält das Gutachten ebenfalls nur wenige Angaben: So wird ausgeführt, dass die Beschwerdeführerin soziale Rückzugstendenzen zeige, dennoch liessen sich gewisse Ressourcen erheben: Die Versicherte zeige zumindest gewisse Aktivitäten tagsüber (teilweise Erledigung des Haushalts, gelegentliche Spaziergänge und manchmal Zubereitung des Mittagessens). Auch lebe sie mit ihrem Ehemann und den Kindern zusammen, wobei keine Probleme bestünden, und habe gemäss eigenen Angaben zumindest wenige soziale Kontakte. Gestützt darauf schloss das kantonale Gericht, die Beschwerdeführerin verfüge über persönliche und soziale Ressourcen, die durch ihre psychischen Probleme nicht in Frage gestellt würden. Zudem leitete es bei der Prüfung der Konsistenz daraus ab, dass das Aktivitätenniveau der Beschwerdeführerin nicht augenfällig herabgesetzt sei. Mit überwiegender Wahrscheinlichkeit bestünden keine wesentliche Einschränkung des Aktivitätenniveaus in allen Lebensbereichen und kein sozialer Rückzug in allen Belangen des Lebens. Diese Schlussfolgerungen überzeugen angesichts der knappen Feststellungen im Gutachten nicht.
3.5. Zusammenfassend liegen keine schlüssigen medizinischen Ausführungen vor, die eine zuverlässige Beurteilung der Arbeitsfähigkeit im nunmehr anzuwendenden strukturierten Beweisverfahren nach BGE 141 V 281 erlauben würden. Die Sache ist daher an das kantonale Gericht zurückzuweisen, damit es ein den Grundsätzen von BGE 141 V 281 entsprechendes Gutachten einhole. Dabei werden auch die im kantonalen Gerichtsverfahren vorgetragenen somatischen Beschwerden (insbesondere an Rücken, Ellbogen und Schultern) zu prüfen sein. Gestützt auf die neue Expertise wird es in Berücksichtigung des gesundheitlichen Verlaufs erneut über die Sache zu entscheiden haben.
4.
Die Rückweisung der Sache zu erneuter Abklärung gilt für die Frage der Auferlegung der Gerichtskosten sowie der Parteientschädigung als vollständiges Obsiegen im Sinn von Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG (BGE 141 V 281 E. 11.1 S. 312). Mithin hat die unterliegende IV-Stelle die Gerichtskosten zu tragen und der Beschwerdeführerin eine Parteientschädigung auszurichten.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 4. Januar 2018 wird aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Oktober 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart