Sachverhalt:
A.
A.a. Mit Verfügung vom 9. Januar 2002 sprach die IV-Stelle Solothurn der 1967 geborenen, zuletzt als Raumpflegerin tätigen A._ gestützt auf das Gutachten des Spitals B._ vom 13. August 2001 rückwirkend ab 1. April 2000 eine ganze Rente zu. Diesen Anspruch bestätigte die Verwaltung mit den Mitteilungen vom 28. April 2003 und 5. Oktober 2006.
A.b. Im Rahmen einer erneuten revisionsweisen Rentenüberprüfung liess die IV-Stelle die Versicherte in der Medizinischen Abklärungsstelle (MEDAS) Zentralschweiz, Luzern, interdisziplinär begutachten (Expertise vom 14. Mai 2013) und hob anschliessend die A._ zugesprochene Rente auf (Verfügung vom 3. November 2014). Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 10. Februar 2016 gut und wies die Angelegenheit zu weiteren psychiatrischen Abklärungen an die Verwaltung zurück. Ferner verpflichtete es die IV-Stelle, der Versicherten eine Parteientschädigung in der Höhe von Fr. 1'525.- zu bezahlen sowie die Verfahrenskosten im Betrag von Fr. 600.- zu tragen.
A.c. Die IV-Stelle holte in der Folge das von PD Dr. med. C._, Facharzt für Psychiatrie und Psychotherapie, vom 4. Januar 2017 datierende Gutachten ein. Darin kam dieser zum Schluss, die Versicherte leide an einer rezidivierenden depressiven Störung, gegenwärtig mittelgradige Episode, und akzentuierten Persönlichkeitszügen. Die Arbeitsfähigkeit schätzte er mit 50 % ein. Dr. med. D._, Facharzt für Psychiatrie und Psychotherapie, Regionaler Ärztlicher Dienst (RAD), beurteilte mit Stellungnahme vom 15. Februar 2017 das Gutachten aus medizinischer Sicht als nachvollziehbar und erachtete die Versicherte seit der Begutachtung in der MEDAS Zentralschweiz als zu 50 % arbeitsfähig. Die IV-Stelle verneinte hingegen einen invalidisierenden Gesundheitsschaden und hielt an der Rentenaufhebung, wie am 3. November 2014 verfügt, fest (Verfügung vom 28. August 2017).
B.
Mit Entscheid vom 21. August 2018 hiess das Versicherungsgericht des Kantons Solothurn die dagegen erhobene Beschwerde in dem Sinne gut, als dass es einen Anspruch auf eine halbe Rente ab 1. Oktober 2017 erkannte.
C.
Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, der vorinstanzliche Entscheid vom 21. August 2018 sei aufzuheben und ihre Verfügung vom 21. August 2017 zu bestätigen. Eventualiter sei festzustellen, dass die Versicherte ab 1. Januar 2015 keinen Rentenanspruch und ab 1. Oktober 2017 einen solchen auf eine halbe Rente habe. Subeventualiter sei ein Rentenanspruch ab 1. Oktober 2017 zu verneinen. Subsubeventualiter sei der Versicherten ab 1. Januar 2015 eine halbe Rente zuzusprechen. Ferner sei der Rückweisungsentscheid vom 10. Februar 2016 betreffend die Kosten aufzuheben und die Kosten für das psychiatrische Gutachten vom 4. Januar 2017 von Fr. 4'500.- seien der Vorinstanz resp. dem Kanton Solothurn zu überbinden.
A._ schliesst auf Abweisung der Beschwerde. Die Vorinstanz beantragt mit Verweis auf die Erwägungen im angefochtenen Entscheid die Beschwerdeabweisung. Das Bundesamt für Sozialversicherungen verzichtet hingegen auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie entgegen der Verfügung der IV-Stelle vom 28. August 2017 einen Anspruch auf eine Invalidenrente nach dem 1. Januar 2015 bejahte.
2.2. Im angefochtenen Entscheid sind die rechtlichen Grundlagen insbesondere zur Invalidität (<ref-law>; <ref-law>), Rentenrevision (<ref-law>) sowie zum Beweiswert von Gutachten (<ref-ruling> E. 3a S. 532; vgl. auch <ref-ruling> E. 5.1 S. 64) richtig dargelegt. Ebenfalls zutreffend sind die Ausführungen zu den Grundsätzen der Beurteilung der Invalidität bei leichten und mittelgradigen depressiven Störungen anhand der sog. Standardindikatoren (<ref-ruling>; <ref-ruling>). Darauf kann verwiesen werden.
2.3. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit sowie bei der konkreten Beweiswürdigung handelt es sich um für das Bundesgericht grundsätzlich verbindliche Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Frei überprüfbare Rechtsfragen sind hingegen die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Gleiches gilt für die Frage, ob und in welchem Umfang die Feststellungen in einem medizinischen Gutachten anhand der rechtserheblichen Indikatoren auf eine Arbeitsunfähigkeit schliessen lassen (vgl. BGE <ref-ruling> E. 7 S. 308 f.).
2.4.
2.4.1. Die Vorinstanz hat dem Gutachten des PD Dr. med. C._ vom 4. Januar 2017 Beweiskraft zuerkannt, wonach bei der Versicherten eine rezidivierende depressive Störung, gegenwärtig mittelgradige Episode, und akzentuierte Persönlichkeitszüge vorlägen. Anhand des Gutachtens hat sie eine Indikatorenprüfung durchgeführt und festgestellt, auf die vor diesem Hintergrund attestierte 50%ige Einschränkung der Arbeitsfähigkeit für sämtliche Tätigkeiten sei auch unter Berücksichtigung der mit <ref-ruling> modifizierten Rechtsprechung abzustellen. Gestützt darauf hat das kantonale Gericht mittels eines Prozentvergleichs einen Anspruch auf eine halbe Rente ermittelt.
2.4.2. Die IV-Stelle bringt dagegen insbesondere vor, das kantonale Gericht habe nicht ausschliesslich die gesundheitlichen Beeinträchtigungen berücksichtigt und keine objektivierte Zumutbarkeitsprüfung vorgenommen. Sie rügt, verschiedene Umstände seien nicht zutreffend gewürdigt worden. Angesichts des gering ausgeprägten Leidensdrucks zufolge Nichteinhalten der therapeutischen Optionen, des inkonsistenten Verhaltens der Versicherten, der fehlenden Komorbidität, der geringen Ausprägung der diagnoserelevanten Befunde, der kaum ressourcenhemmenden Persönlichkeitsstruktur und der guten sozialen Einbettung sei von einer uneingeschränkten Arbeitsfähigkeit auszugehen.
2.4.3. Die Versicherte ist hingegen der Auffassung, die Vorinstanz habe zu den verschiedenen Indikatoren ausführlich Stellung genommen und sich zu den vorhandenen Ressourcen geäussert. Die Arbeitsfähigkeit sei somit aufgrund der bestehenden Einschränkungen und Ressourcen festgestellt worden.
2.5. Zunächst ist auf das Vorbringen der IV-Stelle einzugehen, wonach bei der Versicherten psychosoziale Faktoren im Vordergrund stünden. Der Gutachter PD Dr. med. C._ setzte sich damit eingehend auseinander und erkannte, dass im Zusammenhang mit der Manifestation der depressiven Episoden psychosozialen Umständen durchaus eine gewisse Bedeutung zugekommen sei. Das klinische Beschwerdebild besteht jedoch - wie PD Dr. med. C._ darlegte - nicht einzig in Beeinträchtigungen, welche von den belastenden Faktoren herrühren, sondern es umfasst davon zu unterscheidende psychiatrische Befunde. Sodass der medizinische Experte eine rezidivierende depressive Störung, gegenwärtig mittelgradige Episode, und akzentuierte Persönlichkeitszüge diagnostizierte. Entgegen der Beschwerdeführerin liegt gemäss dem Gutachten nicht bloss eine geringe Ausprägung der diagnoserelevanten Befunde vor. Auch ist nicht zu beanstanden, dass das kantonale Gericht bereits beim Komplex "Gesundheitsschädigung" die Wechselwirkung zwischen der Depression und den akzentuierten Persönlichkeitszügen diskutierte, konnte der Gutachter zwar nicht mit Sicherheit eine Persönlichkeitsstörung diagnostizieren, die vorliegende Symptomatik ist jedoch mit nachgewiesenen drei (statt vier) Diagnosekriterien von einer gewissen Schwere, und der Gutachter zeigte nachvollziehbar die Dynamik zwischen Depression und der innerpsychischen Struktur der Versicherten auf.
Im Weiteren beschränkt sich die Beschwerdeführerin darauf, ihre eigene, von der Vorinstanz abweichende Indikatorenprüfung darzulegen, was nicht genügt. Wenn das kantonale Gericht insbesondere festgestellt hat, im Falle der Versicherten könne nicht von einer konsequenten und zielgerichteten Behandlung gesprochen werden, so ist dies nicht zu beanstanden (vgl. BGE <ref-ruling> E. 4.3.1.2 S. 299 f.). Entgegen der Ansicht der Beschwerdeführerin kann nicht allein daraus der Schluss gezogen werden, es liege höchstens ein sehr geringer Leidensdruck vor. Im Gegenteil hielt PD Dr. med. C._ fest, die Versicherte wirke authentisch affektiv leidend. Die Vorinstanz erkannte zudem, dass die Versicherte im sozialen Bereich über gewisse Ressourcen verfügt und auch, dass die Alltagsaktivitäten im Normbereich liegen. Das Fehlen einer gleichmässigen Einschränkung des Aktivitätenniveaus in allen vergleichbaren Lebensbereichen ist damit aber nicht ausgewiesen, denn das kantonale Gericht wies auch darauf hin, dass die Versicherte die Haushaltsarbeiten selektiv erledigt und dem Gutachten ist weiter zu entnehmen, dass sie von ihren Töchtern diesbezüglich unterstützt wird.
Vorliegend bestehen somit Faktoren, die auf eine Einschränkung der Arbeitsfähigkeit hinweisen und andere Umstände, die ein gewisses Leistungspotential der Versicherten zeigen. Vor diesem Hintergrund ist die im Gutachten vom 4. Januar 2017 bescheinigte Teilarbeitsfähigkeit von 50 %, wie das kantonale Gericht in bundesrechtskonformer Weise feststellte, schlüssig. Daraus resultiert gemäss den nicht weiter strittigen vorinstanzlichen Erwägungen, die keinen Anhalt für eine Bundesrechtswidrigkeit bieten, ein Anspruch auf eine halbe Rente.
2.6.
2.6.1. Bei einer Rentenherabsetzung oder -aufhebung dauert der wie in der Verfügung vom 3. November 2014 angeordnete Entzug der aufschiebenden Wirkung einer Beschwerde auch im Rahmen einer gerichtlichen Rückweisung zur Neubeurteilung an. Insofern ist vorliegend eine Rentenaufhebung/-herabsetzung per 1. Januar 2015 zu prüfen (vgl. statt vieler SVR 2011 IV Nr. 33 S. 96, 8C_451/2010; vgl. auch SVR 2017 IV Nr. 90 S. 280 E. 3.1, 8C_118/2017).
2.6.2. Das kantonale Gericht hielt fest, auf die gutachterliche Einschätzung der Arbeitsfähigkeit von PD Dr. med. C._ könne abgestellt werden und diese gelte seit dessen Untersuchung am 1. Dezember 2016. Feststellungen zur Arbeitsfähigkeit ab 1. Januar 2015 bis zur Begutachtung durch PD. med. C._ fehlen. Der Sachverhalt ist diesbezüglich - da liquide und aktenkundig - zu ergänzen (<ref-law>).
2.6.3. PD Dr. med. C._ legte in seinem Gutachten vom 4. Januar 2017 wohl dar, es sei ihm nicht möglich, die Arbeitsfähigkeit retrospektiv verlässlich zu beurteilen. Seinen Ausführungen lassen sich indessen verbürgte Angaben zu den bestehenden Einschränkungen der Versicherten im Rückblick entnehmen. So hielt er einerseits fest, dass sich bei der Versicherten im März 2010, als diese erneut Mutter geworden sei, keine Affektpathologie präsentiere, die auf eine ausgeprägte Arbeitsunfähigkeit schliessen lasse. Er räumte auch ein, gemäss dem Gutachten der MEDAS-Zentralschweiz vom 14. März 2013 habe die von ihm festgestellte Affektpathologie nicht bestanden. Andererseits ging er davon aus, dass die von ihm erhobenen Befunde nicht erst seit "heute" vorliegen würden. Zusammenfassend kann für den hier massgebenden Zeitraum ab Januar 2015 daher mit überwiegender Wahrscheinlichkeit geschlossen werden, dass es nach dem Gutachten der MEDAS-Zentralschweiz vom 14. Mai 2013 keine Anhaltspunkte auf eine ausgeprägtere Affektpathologie, als jene wie sie PD Dr. med. C._ feststellte, gibt. In diesem Sinne ist auch schlüssig, dass der Psychiater des RAD davon ausging, es bestehe eine 50%ige Arbeitsfähigkeit seit der Begutachtung durch die MEDAS-Zentralschweiz (RAD-Stellungnahme vom 15. Februar 2017). Entgegen der Beschwerdeführerin kann jedoch für den Zeitraum von Januar 2015 bis zur Begutachtung durch PD Dr. med. C._ nicht mit dem erforderlichen Beweismass auf eine höhere Arbeitsfähigkeit geschlossen werden. Es ist deshalb im hier massgebenden Zeitraum eine Arbeitsfähigkeit von 50 % ausgewiesen und die Versicherte hat ab Januar 2015 Anspruch auf eine halbe Rente. Soweit die Vorinstanz erst ab 1. Oktober 2017 eine revisionsweise Herabsetzung auf eine halbe Rente erkannte, verletzt ihr Entscheid Bundesrecht.
3.
In der vorliegenden Rechtsschrift der IV-Stelle erhob diese auch gegen den Entscheid des Versicherungsgerichts des Kantons Solothurn vom 10. Februar 2016 betreffend die Kostenregelung Beschwerde, die aber grundsätzlich auf einen anderen materiellen Verfahrensausgang zielt (vgl. E. 3.2).
3.1. Dieser kantonale Entscheid, mit dem die Angelegenheit zu psychiatrischen Abklärungen und zur anschliessenden neuen Verfügung an die Beschwerdeführerin zurückgewiesen worden war, stellt einen Zwischenentscheid dar (<ref-ruling> E. 3.2 S. 607; <ref-ruling> E. 2 S. 647 f.). Er ist gemäss <ref-law> im Nachgang zu dem aufgrund des Rückweisungsentscheids neu ergehenden Endentscheid in der Sache anzufechten (<ref-ruling> E. 3.3.2 S. 557 f. mit Hinweisen). Das kantonale Gericht hat mit seinem Entscheid vom 21. August 2018 über den Leistungsanspruch entschieden. Gegen diesen, der IV-Stelle am 27. August 2018 zugestellten Entscheid, sowie gegen den vorinstanzlichen Entscheid vom 10. Februar 2016 erhob die IV-Stelle am 26. September 2018 (Poststempel) Beschwerde. Die Beschwerdefrist wurde damit gewahrt.
3.2. Die Beschwerdeführerin begründet ihren Antrag auf vorinstanzliche Kostenbefreiung im Wesentlichen damit, dass die Motive, welche das kantonale Gericht im Rahmen seines Entscheids vom 10. Februar 2016 zur Rückweisung der Angelegenheit zu psychiatrischen Abklärung bewogen haben, als bundesrechtswidrig zu qualifizieren seien. Der Vorinstanz wäre es ohne Weiteres möglich gewesen, aufgrund des Gutachtens des Dr. med. E._, MEDAS-Zentralschweiz, vom 25. März 2013 den massgebenden Sachverhalt im Rahmen eines strukturierten Beweisverfahrens anhand der Standardindikatoren zu beurteilen.
3.3. Letzterer Punkt ist nachstehend vorab zu prüfen, wobei für die entscheidwesentlichen rechtlichen Grundlagen auf die sachbezüglichen Erwägungen im angefochtenen Entscheid verwiesen wird (vgl. auch E. 2.2 hiervor).
3.3.1. Das kantonale Gericht erwog im Rückweisungsentscheid vom 10. Februar 2016 im Wesentlichen, damit auf das psychiatrische Gutachten von Dr. med. E._ abgestellt werden könne, müsse dieses den Anforderungen der neuen Rechtsprechung entsprechen und eine schlüssige Beurteilung im Lichte der massgeblichen Indikatoren erlauben. Wie Thomas Gächter und Michael Meier im Artikel "Schmerzrechtsprechung 2.0" (in: Jusletter vom 29. Juni 2015) zu Recht festgehalten hätten, werde es vielen Administrativgutachten an der nun gebotenen Betrachtungsweise und der Berücksichtigung aller relevanten Umständen fehlen. Der Fokus sei, wie das Bundesgericht deutlich mache, häufig stark auf die medizinische Komponente und die Zumutbarkeits- bzw. Foerster-Kriterien gelegt worden. Hingegen seien Persönlichkeit und das soziale Umfeld bisher nicht im nun geforderten Ausmass Gegenstand der Abklärungen gewesen. Dies gelte auch für das vorliegende psychiatrische Gutachten, das zwar durchaus ausführlich gehalten sei und sich eingehend mit den persönlichen Angaben der Versicherten zu ihren Aktivitäten und ihrem Umfeld befasse. Allerdings sei die psychiatrische Begutachtung schwergewichtig nach den Foerster-Kriterien erfolgt, womit es an der Betrachtungsweise fehle, die die neue Rechtsprechung zur Beurteilung der Indikatoren voraussetze.
3.3.2. Die Auseinandersetzung im angefochtenen Entscheid, weshalb das psychiatrische Gutachten nicht genügt, sind sehr allgemein gehalten. Der Vorinstanz kann dennoch nicht vorgeworfen werden, sie habe sich auf Zitate aus dem erwähnten Aufsatz von Gächter/Meier beschränkt und damit die Beweiswürdigungsregeln "ad absurdum" geführt. Ein Blick in das Gutachten zeigt, dass zumindest bezüglich eines Standardindikators keine abschliessende gutachterliche Einschätzung vorlag: Dr. med. E._ liess offen, wie weit die Versicherte bedingt durch ihre Persönlichkeitseigenschaften über fachliche Kompetenzen verfügen würde. Es ist daher vertretbar, dass das kantonale Gericht schloss, die Persönlichkeit sei nicht im nun geforderten Ausmass Gegenstand der Abklärungen gewesen. Nachdem sich bei der Beschwerdeführerin aus den Akten ergibt, dass die Beschwerdegegnerin eine wahnhaft anmutende Fixierung hat (te), einen Sohn und nicht nur Töchter zu gebären, somit Auffälligkeiten in dieser Hinsicht nicht zum Vornherein auszuschliessen waren, stand es im Ermessen der Vorinstanz, weitere psychiatrische Abklärungen im Sinne eines neuen psychiatrischen Gutachtens anzuordnen. Soweit die IV-Stelle dem entgegen die Ansicht vertritt, im Gutachten des Dr. med. E._ sei das massgebliche Beweisthema rechtsgenüglich abgebildet und es wäre auf eine uneingeschränkte Arbeitsfähigkeit zu schliessen gewesen, die medizinische Expertise zeige, dass die diagnoserelevanten Befunde gering ausgeprägt gewesen seien, die Medikamente im Blut nicht nachgewiesen werden konnten, die therapeutische Behandlung vernachlässigt wurde, Komorbiditäten fehlten und die Versicherte sozial gut eingebettet war, gibt sie bloss ihre eigene Sichtweise wieder, wie diese Angaben zu würdigen gewesen wären. Dies ist jedoch insbesondere vor dem Hintergrund, dass sich dem Gutachten nicht zu sämtlichen Standardindikatoren Angaben entnehmen lassen, nicht hinreichend, die damalige gerichtliche Beweiswürdigung als bundesrechtswidrig zu qualifizieren.
3.4. Da der erstinstanzliche Rückweisungsentscheid nach dem Dargelegten kein Bundesrecht verletzt, kann auf eine Prüfung der weiteren Vorbringen der IV-Stelle zur Überbindung der Kosten des Gutachtens des PD Dr. med. C._ vom 4. Januar 2017 auf die Vorinstanz respektive den Kanton Solothurn verzichtet werden.
4.
Die Beschwerdeführerin obsiegt mit ihrer Beschwerde gegen den Entscheid des Versicherungsgerichts des Kantons Solothurn vom 21. August 2018 teilweise. Hingegen ist die Beschwerde gegen den kantonalen Rückweisungsentscheid vom 10. Februar 2016 abzuweisen. Aufgrund dieses Verfahrensausganges rechtfertigt es sich, der Beschwerdeführerin drei Viertel und der Beschwerdegegnerin einen Viertel der Gerichtskosten aufzuerlegen (<ref-law>). Zudem hat die IV-Stelle der Versicherten eine reduzierte Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).
Das kantonale Gericht auferlegte der IV-Stelle die vorinstanzlichen Gerichtskosten. Aufgrund des vorliegenden Verfahrensausgangs sind mit Blick auf die Anträge, welche die Versicherte im vorinstanzlichen Verfahren stellte, die Kosten des vorangegangenen Verfahrens nicht anders zu verteilen (<ref-law>; <ref-ruling> E. 2c S. 407; Urteil 8C_568/2010 vom 3. Oktober 2010 E. 4.2).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Dispositiv Ziffer 1 des Entscheids des Versicherungsgerichts des Kantons Solothurn vom 21. August 2018 wird datumsmässig insoweit abgeändert, als der Beschwerdegegnerin ab 1. Januar 2015 ein Anspruch auf eine halbe Rente der Invalidenversicherung zusteht. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden zu Fr. 600.- der Beschwerdeführerin und zu Fr. 200.- der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'100.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. September 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Möckli