Sachverhalt:
A.
A._, geboren 1979, meldete sich im April 2014 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich verneinte am 13. Juli 2015 einen Leistungsanspruch. Diese Verfügung erwuchs unangefochten in Rechtskraft.
Im Juni 2016 meldete sich A._ wiederum zum Leistungsbezug an. Gestützt auf das bidisziplinäre Gutachten von Dr. med. B._, Fachärztin für Innere Medizin, speziell Rheumaerkrankungen, und Prof. Dr. med. C._, Facharzt für Psychiatrie und Psychotherapie, vom 2. November 2020 wies die IV-Stelle mit Verfügung vom 29. Juni 2018 das Leistungsbegehren erneut ab.
B.
A._ liess dagegen Beschwerde einreichen. Das Sozialversicherungsgericht des Kantons Zürich holte bei med. pract. D._, Fachärztin für Psychiatrie und Psychotherapie, ein Gutachten vom 5. September 2019 ein. Nach Gewährung des rechtlichen Gehörs hiess es die Beschwerde mit Entscheid vom 18. Mai 2020 unter Aufhebung der Verfügung vom 29. Juni 2018 gut, sprach A._ ab 1. Dezember 2016 eine ganze Invalidenrente zu und verpflichtete die IV-Stelle zur Übernahme der Kosten des Gerichtsgutachtens.
C.
Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und die Verfügung vom 29. Juni 2018 zu bestätigen. Zudem ersucht sie um Gewährung der aufschiebenden Wirkung ihrer Beschwerde.
A._ lässt auf Nichteintreten, eventualiter auf Abweisung der Beschwerde, sowie auf Abweisung des Gesuchs um aufschiebende Wirkung schliessen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.
D.
Mit Verfügung vom 7. Oktober 2020 gewährte das Bundesgericht der Beschwerde die aufschiebende Wirkung.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt, da es um eine öffentlich-rechtliche Angelegenheit geht (<ref-law>), die Beschwerde sich gegen einen Endentscheid (<ref-law>) einer letzten kantonalen Instanz richtet (<ref-law>) und den formellen Anforderungen genügt (<ref-law>). Auch liegt keine Ausnahme nach <ref-law> vor und die IV-Stelle ist beschwerdelegitimiert (<ref-law> i.V.m. <ref-law> und <ref-law>; <ref-ruling>). Schliesslich wurde die Beschwerde innert Frist erhoben (Art. 100 Abs. 1 i.V.m. Art. 46 Abs. 1 lit. b und Art. 48 Abs. 1 BGG). Denn gemäss den Angaben der Schweizerischen Post gelangte das Paket mit dem vorinstanzlichen Entscheid am 15. Juni 2020 in den Machtbereich der IV-Stelle, so dass die Beschwerdefrist erst am 16. Juni 2020 zu laufen begann (<ref-law>). Die Einreichung der Beschwerde am 17. August 2020 erfolgte unter Berücksichtigung der Gerichtsferien (<ref-law>) demnach fristgerecht. Auf die Beschwerde der IV-Stelle ist einzutreten.
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Rechtsfrage ist, ob die rechtserheblichen Tatsachen vollständig festgestellt und ob der Untersuchungsgrundsatz bzw. die Beweiswürdigungsregeln nach <ref-law> beachtet wurden. Gleiches gilt für die Frage, ob die Anforderungen an den Beweiswert von Arztberichten erfüllt wurden. Bei den aufgrund dieser Berichte getroffenen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. Leistungsfähigkeit sowie bei der konkreten Beweiswürdigung geht es grundsätzlich um Sachverhaltsfragen (nicht publ. E. 1 des Urteils <ref-ruling>).
2.2. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung; in diese greift das Bundesgericht auf Beschwerde hin nur bei Willkür ein, insbesondere wenn die Vorinstanz offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche grundlos ausser Acht lässt. Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips klar und detailliert aufzuzeigen. Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 4.2 S. 53 mit Hinweisen).
3.
Streitig ist, ob die Vorinstanz zu Recht der Beschwerdegegnerin ab 1. Dezember 2016 eine ganze Invalidenrente zugesprochen hat. Hingegen ist unbestritten, dass sie an keinen somatischen, die Arbeitsfähigkeit einschränkenden Beschwerden leidet.
4.
Die Vorinstanz hat die massgebenden Bestimmungen und Grundsätze über die Begriffe der Invalidität (<ref-law>) und der Erwerbsunfähigkeit (Art. 7 Abs. 1 und 2 ATSG), namentlich bei psychischen Erkrankungen (<ref-ruling>; <ref-ruling>), sowie den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 2 IVG), zutreffend dargelegt. Dasselbe gilt für die Neuanmeldung (<ref-law>; <ref-ruling> E. 5.3 in fine S. 588 mit Hinweisen), die dabei zu berücksichtigenden Voraussetzungen einer Revision der Invalidenrente (<ref-law>; <ref-ruling> E. 2.3 S. 10; <ref-ruling>) und die allgemeinen beweisrechtlichen Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
Anzufügen bleibt, dass der Richter bei Gerichtsgutachten nach der Praxis nicht ohne zwingende Gründe von der Einschätzung des Experten abweicht, dessen Aufgabe es ist, seine Fachkenntnisse der Gerichtsbarkeit zur Verfügung zu stellen, um einen bestimmten Sachverhalt medizinisch zu erfassen. Ein Grund zum Abweichen kann vorliegen, wenn die Gerichtsexpertise widersprüchlich ist oder wenn ein vom Gericht eingeholtes Obergutachten in überzeugender Weise zu andern Schlussfolgerungen gelangt. Eine abweichende Beurteilung kann ferner gerechtfertigt sein, wenn gegensätzliche Meinungsäusserungen anderer Fachexperten dem Richter als triftig genug erscheinen, die Schlüssigkeit des Gerichtsgutachtens in Frage zu stellen, sei es, dass er die Überprüfung durch einen Oberexperten für angezeigt hält, sei es, dass er ohne Oberexpertise vom Ergebnis des Gerichtsgutachtens abweichende Schlussfolgerungen zieht (BGE <ref-ruling> E. 3b/aa mit Hinweisen; Urteil 8C_722/2016 vom 28. Juni 2017 E. 3.2.2.2).
5.
Mit Verfügung vom 13. Juli 2015 hatte die IV-Stelle einen Anspruch der Beschwerdegegnerin auf eine Invalidenrente verneint. Folglich ist erforderlich, dass bis zum Zeitpunkt der Verfügung vom 29. Juni 2018 eine für den Rentenanspruch relevante Änderung des Invaliditätsgrades im Sinne von <ref-law> eingetreten ist. Die Vorinstanz begründet die Veränderung in den tatsächlichen Verhältnissen mit dem von der Gutachterin D._ beschriebenen "Crescendo" der Beschwerden (vorinstanzliche E. 8.4 und 8.5). Dies steht - wie die IV-Stelle zu Recht geltend macht - in einem unauflösbaren Widerspruch zur expliziten Feststellung der Gutachterin D._, wonach sich zwischen dem 13. Juli 2015 und dem 29. Juni 2018 keine relevante Änderung der gesundheitlichen Verhältnisse ergeben habe. Zudem trifft das kantonale Gericht auch Sachverhaltsfeststellungen zum Zeitraum vor dem 13. Juli 2015, was ihm jedoch angesichts der Rechtskraft der Verfügung vom 13. Juli 2015 im Rahmen des <ref-law> resp. des <ref-law> verwehrt ist (vgl. etwa die vorinstanzliche E. 6.3 Absatz 3 bezüglich der relevanten Diagnosen, E. 6.4 bezüglich der Massgeblichkeit des Gutachtens der Dr. med. E._ vom März 2013 sowie E. 8.3 bezüglich des Gesundheitszustandes im Juli 2015). Soweit die Vorinstanz faktisch eine Wiedererwägung nach <ref-law> vornimmt (vorinstanzliche E. 8.2 und 8.3), verkennt sie, dass gemäss explizitem Gesetzestext nur der Versicherungsträger dazu berechtigt ist.
Die vorinstanzliche Beweiswürdigung resp. der festgestellte Sachverhalt ist nach dem Gesagten widersprüchlich und daher willkürlich, mithin bundesrechtswidrig (vgl. E. 2.2).
6.
6.1. Es stellt sich die Frage, ob gestützt auf das Gerichtsgutachten vom 5. September 2019 der massgebliche Sachverhalt erstellt werden kann. Diesbezüglich vertritt die beschwerdeführende IV-Stelle die Ansicht, auf das Gutachten von med. pract. D._ könne nicht abgestellt werden, da die Gutachterin verkenne, dass die Wertung und Einordnung der von ihr am psychiatrischen Teilgutachten des Prof. Dr. med. C._ monierten Schlussfolgerungen Sache des Rechtsanwenders sei. So tätige die Gutachterin auch wiederholt Aussagen, die ihr als medizinische Gutachterin nicht zustehen würden. Auch beschränke sich ihre Auseinandersetzung mit den übrigen medizinischen Berichten und Gutachten auf die Feststellung, diese seien unzutreffend, tendenziös oder oberflächlich, was einer sachlich kritischen und objektiven Auseinandersetzung nicht genüge. Zudem sei die Mutmassung, die Schwierigkeiten hinsichtlich der Gutachten von Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie, vom 2. März 2013 und Prof. Dr. med. C._ vom 31. Oktober 2017 lägen im Umstand, dass sich die Beschwerdegegnerin einem männlichen Gutachter gegenüber nicht habe öffnen können, unbegründet und unsubstanziiert. Weiter rügt die IV-Stelle, inwiefern das Verhalten des Prof. Dr. med. C._ bezüglich der Verifizierung und Richtigstellung des MDMA-Laborbefundes Anlass zur vorinstanzlichen Feststellung, dessen Vorgehen sei sehr fragwürdig, gegeben habe, erscheine unverständlich, da sich das im Gutachten offengelegte Vorgehen mit den Darstellungen der Versicherten decke. Weder im Gutachten von med. pract. D._ noch im vorinstanzlichen Entscheid finde sich eine Auseinandersetzung und Abgrenzung der psychosozialen Faktoren, obwohl die Gutachterin D._ explizit ausführe, die durch das lange Rentenverfahren über Jahre unsichere psychosoziale und finanzielle Situation habe sich negativ auf den Verlauf ausgewirkt. Auch stelle die Gutachterin D._ auf die subjektiven Schilderungen der Beschwerdegegnerin ab, um das Gutachten des Prof. Dr. med. C._ in Zweifel zu ziehen, was von der Vorinstanz ohne kritische Würdigung und Diskussion übernommen worden sei. Zwar weiche ein Gericht nicht ohne zwingende Gründe von einem Gerichtsgutachten ab, aber die Expertise D._ weise derart gravierende Mängel und Widersprüche auf, dass darauf nicht abgestellt werden könne.
6.2. Diese Einwände der IV-Stelle sind zutreffend.
Nach konstanter Rechtsprechung ist die Vornahme der juristischen Beurteilung eines Falles nicht Sache des medizinischen Sachverständigen. Entsprechende Ausführungen des medizinischen Gutachters vermögen den Beweiswert seiner Aussagen zu schmälern, sind sie doch Zeichen dafür, dass der zur Unparteilichkeit verpflichtete Sachverständige seine Kompetenzen überschreitet und den Anschein erweckt, er wisse nicht um die Grenzen seines Auftrags (SVR 2016 UV Nr. 27 S. 89 E. 4.2, 8C_448/2015 E. 4.2 mit Hinweisen). Das Gutachten der med. pract. D._ hinterlässt objektiv den Eindruck, dass sie im Rahmen ihrer Stellungnahme zu den bereits vorhandenen Berichten eine eigentliche Beweiswürdigung vornimmt und sich nicht bloss fachlich/inhaltlich äussert. So bemängelt sie etwa in formaler Hinsicht, dass es sich bei einem IV-Bericht um einen ärztlichen Bericht handle, der nicht von nicht-ärztlichen Psychotherapeuten erstellt werden sollte, da diese formal-juristisch nicht befugt seien zur Beurteilung der Arbeitsfähigkeit (Gutachten S. 43). Insbesondere macht sie Ausführungen, die nicht in den Aufgabenbereich des medizinischen Sachverständigen fallen. Ihre Angaben sind zwar Ausgangspunkt für die Beurteilung des massgebenden medizinischen Sachverhalts; letztlich ist es aber Sache des Rechtsanwenders, zu entscheiden, ob mit den von den Experten angegebenen Umständen auch den rechtlichen Vorgaben genüge getan ist (<ref-ruling> E. 3.1 und 3.2 S. 194 ff.). Ein Ausdruck davon ist etwa ihre Feststellung, die IV-Stelle habe sich nicht an die von Prof. Dr. med. C._ angegebene Leistungseinschränkung gehalten (Gutachten S. 52).
Zu Recht weist die IV-Stelle auch darauf hin, dass sich die Gutachterin D._ nirgends mit den offensichtlich vorliegenden und von ihr auch explizit festgestellten psychosozialen Faktoren (Gutachten S. 49) auseinandersetzt. Dieser Mangel wiegt schwer, so dass auch aus diesem Grund nicht auf das Gutachten abgestellt werden kann.
Anzufügen bleibt einerseits, dass sich die Gutachterin D._ bei ihrer Diagnose der posttraumatischen Belastungsstörung auf den auch heute noch nicht massgeblichen Katalog IDC-11 abstützt (Gutachten S. 33 f.), der im relevanten Zeitpunkt (29. Juni 2018; <ref-ruling> E. 2.1 S. 411 mit Hinweis) noch nicht einmal verabschiedet war und erst recht nicht zur Rechtfertigung der noch früher gestellten Diagnosen herbeigezogen werden kann. Zwar erwähnt sie, unter der Geltung der aktuellen ICD-10 wäre das entsprechende Leiden als andauernde Persönlichkeitsstörung (ICD-10: F62) zu werten, und prüft in der Folge die Kriterien für eine solche Störung, bleibt aber dabei der von ihr favorisierten komplexen posttraumatischen Belastungsstörung nach ICD-11 verhaftet (vgl. zum Ganzen auch die Stellungnahme des Dr. med. F._, Facharzt für Psychiatrie und Psychotherapie, Regionaler Ärztlicher Dienst, vom 21. Dezember 2019). Andererseits ist auch die Beurteilung der Standardindikatoren nicht schlüssig, soweit die Gutachterin den verschiedentlich erwähnten Widerstand der Beschwerdegegnerin gegen eine (zumutbare) psychopharmakologische Behandlung und lange Zeit auch gegen eine fachgerecht kontinuierlich durchgeführte psychotherapeutische Behandlung übergeht. Zumindest hätte sie ihre anderslautende Einschätzung nachvollziehbar begründen müssen; eine solche Begründung ist dem Gerichtsgutachten jedoch nicht zu entnehmen. Nach dem Gesagten wäre vielmehr entgegen den Ausführungen der Gutachterin auf einen geringen Leidensdruck und eine geringe Schwere der Störung zu schliessen. Angesichts der Weigerung der behandelnden Psychologin, einen einlässlichen Bericht zur verfassen, fehlen auch Anhaltspunkte für eine anderslautende Beurteilung.
7.
7.1. Nach dem Gesagten kann entgegen den vorinstanzlichen Ausführungen für die hier strittigen Belange nicht auf das Gerichtsgutachten vom 5. September 2019 abgestellt werden. In diesem Zusammenhang ist darauf hinzuweisen, dass auch für das kantonale Gericht Administrativgutachten verbindlich sind, sofern nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (BGE <ref-ruling> E. 3b/bb S. 353; vgl. auch <ref-ruling> E. 4.4 S. 470 sowie die Urteile 8C_776/2018 vom 9. Mai 2019 E. 5.1 und 9C_609/2018 vom 6. März 2019 E. 3.2.2). Dazu bedarf es, dass die Vorinstanz sich zuerst mit den im betreffenden Fall bei den Akten befindlichen medizinischen Berichten auseinandersetzt und folglich begründet, weshalb nicht auf ein nach <ref-law> eingeholtes Administrativgutachten abgestellt werden kann, bevor sie ein Gerichtsgutachten anordnet. Andernfalls setzt sie sich dem Vorwurf aus, mit dem Gerichtsgutachten lediglich eine unzulässige Zweitmeinung ("second opinion") einzuholen (Urteile 8C_776/2018 vom 9. Mai 2019 E. 5.1 und 9C_609/2018 vom 6. März 2019 E. 3.6).
7.2. Die Vorinstanz hält in ihrem Beschluss vom 10. April 2019 fest, das psychiatrische Gutachten des Prof. Dr. med. C._ sei hinsichtlich des Verlaufs der Arbeitsunfähigkeit nicht schlüssig und insbesondere ergebe sich aus ihm nicht, ob sich der Zustand der Beschwerdegegnerin seit der rechtskräftigen Verfügung vom 13. Juli 2015 verschlechtert habe oder ob es sich bei der Einschätzung durch Prof. Dr. med. C._ um eine andere Beurteilung eines gleichgebliebenen Gesundheitszustandes handle. In dessen Teilgutachten vom 31. Oktober 2017 fehlt es in der Tat an der Darlegung des Verlaufs der gesundheitlichen Entwicklung und der Arbeitsfähigkeit seit der rechtskräftigen Verneinung eines Rentenanspruchs bis zur Begutachtung. Es ist ihm auch nirgends die klare Aussage zu entnehmen, ob sich die tatsächlichen Verhältnisse seit dem 13. Juli 2015 verändert haben. Die Beantwortung dieser Frage ist aber wesentlich für die Beurteilung, ob im Rahmen einer Neuanmeldung die Revisionsvoraussetzung der veränderten tatsächlichen Verhältnisse gegeben ist oder nicht (vgl. dazu Urteil 8C_286/2020 vom 6. August 2020 E. 6.5).
7.3. Zusammenfassend ist festzuhalten, dass auch das Teilgutachten des Prof. Dr. med. C._ vom 31. Oktober 2017 in einer wesentlichen Frage (Veränderung des Gesundheitszustandes zwischen dem 15. Juli 2015 und dem 29. Juni 2018) keine Antwort gibt und sich somit keine den Anforderungen der Rechtsprechung genügende psychiatrische Beurteilung bei den Akten findet. Die Sache ist demnach an die Vorinstanz zurückzuweisen, damit sie erneut ein psychiatrisches Gutachten einhole und hernach über die Beschwerde befinde.
8.
Das Verfahren ist kostenpflichtig. Die unterliegende Beschwerdegegnerin hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 18. Mai 2020 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 3. November 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold