Sachverhalt:
A.
A.a. S._ (geboren 1958) arbeitete vom 1. Juni 2001 bis 28. Februar 2005 im Reinigungsdienst. Im April 2004 meldete sie sich bei der IV-Stelle Bern zum Bezug von Leistungen der Invalidenversicherung an. Nach Einholen eines polydisziplinären Gutachtens der Medizinischen Abklärungsstation des Spitals X._ (MEDAS) vom 29. Juni 2006 verneinte die IV-Stelle mit Verfügung vom 3. Oktober 2006 einen Anspruch auf eine Invalidenrente. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 31. Mai 2007 ab.
A.b. Am 29. Juni 2010 meldete sich S._ erneut zum Leistungsbezug an. Nach Einholen eines Gutachtens der Psychiaterin Dr. med. H._ vom 12. Juli 2011, von Stellungnahmen des Regionalen Ärztlichen Dienstes (RAD), Dres. med. W._, Fachärztin für Psychiatrie und Psychotherapie FMH, und P._, Facharzt für Orthopädische Chirurgie FMH, vom 15./16. November 2011 verneinte die IV-Stelle mit Verfügung vom 23. November 2011 wiederum einen Anspruch auf eine Invalidenrente.
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 2. November 2012 ab, soweit es darauf eintrat.
C.
S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides seien ihr die gesetzlichen IV-Leistungen (Integrationsmassnahmen nach Art. 14 IVG, berufliche Massnahmen, Invalidenrente) nach Massgabe einer Erwerbsunfähigkeit von mindestens 40 % nebst Verzugszins zu 5 % auszurichten. Eventuell sei die Sache an die Vorinstanz, subeventuell an die IV-Stelle zurückzuweisen, damit diese den rechtserheblichen Sachverhalt, unter anderem mit einem medizinischen Gutachten sowie beruflich-erwerbsbezogen, abklärten. Die IV-Stelle und die kantonale Vorinstanz seien zu verpflichten, die ihr entstandenen Kosten für die Einholung der medizinischen Stellungnahmen von Dr. med. M._ im Betrage von Fr. 3'500.- und von Fr. 2'000.- zu ersetzen. Eventuell sei die Sache zur Prüfung der Kostenerstattungspflicht an die beiden Vorinstanzen zurückzuweisen.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2.
1.2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz auf Rüge hin oder von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 105 Abs. 2 BGG und Art. 97 Abs. 1 BGG). Das Vorliegen dieser Voraussetzungen hat die Beschwerde führende Person genau darzulegen. Dazu genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern (<ref-ruling> E. 5.1 S. 356; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.2 [nicht publ. in: <ref-ruling>]).
Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. <ref-ruling> E. 2.1 S. 9; Urteil 9C_967/2008 vom 5. Januar 2009 E. 5.1). Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (Urteile 9C_999/2010 vom 14. Februar 2011 E. 1 und 9C_735/2010 vom 21. Oktober 2010 E. 3; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.1).
1.2.2. Einem ärztlichen Bericht kommt Beweiswert zu, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen begründet sind (<ref-ruling> E. 3a S. 352). Der Arzt muss über die notwendigen fachlichen Qualifikationen verfügen (Urteil 9C_736/2009 vom 26. Januar 2010 E. 2.1). Untersuchungsberichte regionaler ärztlicher Dienste können, sofern sie diesen Anforderungen genügen, einen vergleichbaren Beweiswert wie ein Gutachten haben (Art. 49 Abs. 2 IVV; <ref-ruling> E. 1.2.1 S. 219; <ref-ruling> E. 3.3.2 S. 257; Urteil 9C_999/2010 vom 14. Februar 2011 E. 5.1.2).
1.2.3. Dem Sachgericht steht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu (<ref-ruling> E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht diesen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (<ref-ruling> E. 2.1 S. 211; zum Begriff der Willkür <ref-ruling> E. 2.4 mit Hinweisen S. 5). Inwiefern das kantonale Gericht sein Ermessen missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 1.3 S. 261). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.2 mit Hinweis S. 246).
2.
Das kantonale Gericht ging im angefochtenen Entscheid davon aus, dass die Verfügung der IV-Stelle vom 23. November 2011 einzig über den Rentenanspruch entschieden habe. Nicht Anfechtungsobjekt bildeten berufliche Massnahmen, da die IV-Stelle darüber (noch) nicht verfügt habe. Auf den entsprechenden Antrag sei nicht einzutreten. In der Beschwerdeantwort vom 3. Februar 2012 habe die IV-Stelle dargelegt, dass die Beschwerdeführerin Anspruch auf berufliche Massnahmen im Rahmen einer Arbeitsvermittlung habe. Die Beschwerdeführerin werde sich deshalb bei der IV-Stelle zu melden haben.
Mit dieser Begründung setzt sich die Beschwerdeführerin nicht in rechtsgenüglicher Weise auseinander. Es genügt in diesem Zusammenhang nicht, einzig auszuführen, die beruflichen Massnahmen seien zweifellos Streit- und Anfechtungsgegenstand im vorinstanzlichen Verfahren gewesen und es stelle eine bundesrechtswidrige Verfahrenserledigung dar, wenn das kantonale Gericht einzig den Anspruch auf eine Invalidenrente geprüft und sich mit keinem Wort zum ebenfalls im Streit liegenden Anspruch auf berufliche Eingliederungsmassnahmen beschäftigt und keinen Entscheid getroffen habe. Damit setzt sie sich nicht mit der Begründung des kantonalen Gerichts für sein Nichteintreten auseinander. Darauf und auf die entsprechenden Anträge auf Integrationsmassnahmen nach Art. 14 IVG und berufliche Massnahmen ist daher nicht weiter einzugehen.
3.
3.1. Das kantonale Gericht kam nach eingehender Würdigung sämtlicher medizinischer Akten zum Schluss, der medizinische Sachverhalt sei sowohl psychiatrisch wie somatisch hinreichend abgeklärt und es drängten sich keine weiteren (interdisziplinären) Abklärungen auf. In psychiatrischer Hinsicht stützte es sich wie die IV-Stelle auf das Gutachten der Psychiaterin Dr. med. H._ vom 12. Juli 2011 ab. Die Gutachterin diagnostiziere mit Auswirkung auf die Arbeitsfähigkeit eine Somatisierungsstörung (ICD-10: F 45.0) und eine rezidivierende depressive Störung, gegenwärtig leichtgradige Episode ohne somatisches Syndrom (ICD-10: F 33.0). Das psychiatrische Gutachten vom 12. Juli 2011 erfülle die Anforderungen der Rechtsprechung an Expertisen (Hinweis auf <ref-ruling> E. 5.1, 125 V 353 E. 3b/bb). Die Gutachterin habe nachvollziehbar eine Somatisierungsstörung diagnostiziert, weshalb die Rechtsprechung zur somatoformen Schmerzstörung analog anzuwenden sei (Hinweis auf das Urteil des Eidgenössischen Versicherungsgerichts vom 14. April 2008, I 70/07 E. 5). Das kantonale Gericht gelangte mit ausführlicher Begründung zum Schluss, dass die diagnostizierte Somatisierungsstörung überwindbar sei. Die Gutachterin habe die mehrfach diagnostizierte rezidivierende depressive Störung bestätigt und sei von einer leichtgradigen Episode ausgegangen. Sie erachte in der bisherigen oder in einer anderen angepassten Tätigkeit ein Pensum von 100 % mit einer Minderung der Leistungsfähigkeit um 20 % als zumutbar. Das kantonale Gericht ging von dieser Beurteilung aus und berücksichtigte dabei, dass die depressiven Episoden der Beschwerdeführerin auch massgeblich Resultat ihrer psychosozialen Belastung seien. Fraglich sei deshalb lediglich, ob die leichtgradige Episode eine Einschränkung von 20 % in der Arbeitsfähigkeit rechtfertige. Letztlich könne diese Frage offen gelassen werden, denn auch eine 20%ige Arbeitsunfähigkeit in der bisherigen oder einer angepassten Tätigkeit wirke sich nicht rentenbegründend aus. Daran ändere auch nichts, dass die Gutachterin eine ungünstige Prognose erwähne und auf eine fragliche dauerhafte Remission der depressiven Symptomatik hinweise. Der Bericht des behandelnden Psychotherapeuten Dr. med. I._ vom 13. November 2011 vermöge das überzeugende Gutachten der Frau Dr. med. H._ nicht in Zweifel zu ziehen.
In somatischer Hinsicht ging das kantonale Gericht nach Würdigung des Austrittsberichts des Spitals X._ vom 9. April 2010, wo sich die Beschwerdeführerin vom 1. März bis 1. April 2010 zu einer stationären Abklärung und Behandlung aufhielt, und gestützt auf die orthopädische Stellungnahme des RAD-Facharztes Dr. med. P._ vom 16. November 2011 davon aus, dass im Vergleich zu 2006 aus orthopädisch-somatischer Sicht keine Verschlechterung ausgewiesen sei und dementsprechend das damals formulierte Zumutbarkeitsprofil unverändert Gültigkeit habe. Im Austrittsbericht über die stationäre Abklärung vom 1. März bis 1. April 2010 liessen sich nach Auffassung des RAD-Arztes im Vergleich zum MEDAS-Gutachten von 2006 keine Hinweise für eine objektivierbare Verschlechterung finden. Bezüglich der subjektiven behaupteten Schmerzproblematik werde zudem darauf hingewiesen, dass anlässlich der psychiatrischen Begutachtung eine Blutentnahme erfolgt sei, in der sich keine Schmerzmittel hätten nachweisen lassen. Ferner befasste sich das kantonale Gericht mit dem ihm eingereichten audio-neurootologischen Bericht des Dr. med. M._, Spezialarzt FMH für Otorhinolaryngologie, Hals- und Gesichtschirurgie, vom 16. Januar 2012. Nach Dr. med. M._ liege eine multimodale Funktionsstörung innerhalb des Gleichgewichtssystems mit einer peripher-zentralen vestibulären Funktionsstörung rechtsbetont, eine visuo-visuo-oculomotorische Funktionsstörung mit Verlust der visuellen Dominanz und reduzierter visueller Antizipierung der Posturo-Locomotorik zusammen mit einer posturalen Dysfunktion entlang des sacculo-collischen, vestibulospinalen und cervic-spinalen Reflexes bei hochgradig reduzierter neuro-muskulärer Leistung der unteren Extremitäten vor. Dr. med. M._ gehe gestützt auf die von ihm diagnostizierten Leiden von einer Arbeitsunfähigkeit von 65 bis 70 % in allen Tätigkeiten aus. Das kantonale Gericht gelangte mit ausführlicher Begründung gestützt auf die Stellungnahme der RAD-Ärztin Dr. med. O._ vom 12. Juni 2012 zum Schluss, mit dem Bericht von Dr. med. M._ vom 16. Januar 2012 sei nicht nachgewiesen worden, dass die Symptomatik der Beschwerdeführerin auf somatische Gründe zurückzuführen sei. Die von Dr. med. M._ empfohlene cranio-cerebrale Kernspintomographie habe zu keiner signifikanten Änderung zum Befund von 2010 und keine signifikante Pathologie gezeigt. Abschliessend erwog das kantonale Gericht, der medizinische Sachverhalt sei sowohl psychiatrisch wie somatisch hinreichend abgeklärt und es drängten sich keine weiteren (interdisziplinären) Abklärungen auf.
Den von der IV-Stelle durchgeführten Einkommensvergleich bestätigte es und verneinte einen rentenrelevanten Invaliditätsgrad.
3.2.
3.2.1. Im Lichte der eingangs erwähnten Beweisregeln und Grundsätze zur Beweiswürdigung ist die vorinstanzliche Sachverhaltsfeststellung und die entsprechende Beweiswürdigung nicht mangelhaft im Sinne von Art. 97 Abs. 1 BGG. Das kantonale Gericht hat sich mit allen relevanten medizinischen Unterlagen auseinandergesetzt und eingehend begründet, weshalb es auf das psychiatrische Gutachten der Frau Dr. med. H._ vom 12. Juli 2011 und in somatischer Hinsicht auf die Beurteilung des RAD-Arztes Dr. med. P._ vom 16. November 2011 abgestellt hat. Das Gutachten der Frau Dr. med. H._ wurde vor Erlass von <ref-ruling> eingeholt, weshalb die in diesem Entscheid festgehaltenen Mitwirkungsrechte, die sich im Übrigen auf eine interdisziplinäre Begutachtung beziehen, ohnehin nicht zum Tragen kommen konnten. Das kantonale Gericht hat dargelegt, weshalb das psychiatrische Gutachten vom 12. Juli 2011 nichts an Beweiswert eingebüsst hat (<ref-ruling> E. 6 Ingress S. 266; Urteil 9C_495/2012 vom 4. Oktober 2012 E. 2.2). Entgegen der Auffassung der Beschwerdeführerin hat Frau Dr. med. H._ ausführlich begründet, weshalb sie zur Diagnose einer Somatisierungsstörung gekommen ist. Ferner hat sie sich mit den somatischen Beschwerden befasst, namentlich mit den seit der Begutachtung durch die MEDAS vom 29. Juni 2006 erstellten ärztlichen Berichten. Was die geltend gemachte Verschlechterung des psychischen Gesundheitszustandes betrifft, so sind die Verhältnisse bis zum Zeitpunkt der rentenablehnenden Verfügung vom 23. November 2011 massgebend. Dr. med. I._ spricht im Bericht vom 13. November 2011 erst von einem Verdacht auf beginnende andauernde Persönlichkeitsstörung und wonach die bisherige Entwicklung zu einer andauernden Persönlichkeitsänderung führen könnte. Es könne von einer leichten Zunahme und weiteren Chronifizierung der Beschwerden ausgegangen werden. Für den massgebenden Zeitpunkt der Verwaltungsverfügung vom 23. November 2011 kann nicht davon ausgegangen werden, der Gesundheitszustand der Beschwerdeführerin habe sich seit der Begutachtung durch Frau Dr. med. H._ (Untersuchung vom 29. Juni 2011) in einer für den Rentenanspruch relevanten Weise verändert. Hiefür steht der Beschwerdeführerin die Neuanmeldung unter den Voraussetzungen des Art. 87 Abs. 2 und 3 IVV zur Verfügung. Das kantonale Gericht durfte daher, ohne Bundesrecht zu verletzen, in psychiatrischer Hinsicht auf das Gutachten der Dr. med. H._ abstellen.
3.2.2. Ebenso wenig kann eine Bundesrechtsverletzung darin erblickt werden, dass das kantonale Gericht in somatischer Hinsicht die Beurteilung des RAD-Arztes Dr. med. P._ vom 16. November 2011 als beweiskräftig angesehen und von weiteren Abklärungen abgesehen hat. Der Bericht des Dr. med. P._ berücksichtigt die seit dem MEDAS-Gutachten vom 29. Juni 2006 erstellten ärztlichen Unterlagen, namentlich den Bericht des Spitals X._ vom 9. April 2010, wo sich die Beschwerdeführerin vom 1. März bis 1. April 2010 zur stationären Abklärung und Behandlung aufgehalten hatte. Der vorinstanzliche Schluss auf einen gegenüber der MEDAS-Begutachtung vom 29. Juni 2006 im Wesentlichen unveränderten somatischen Gesundheitszustand gestützt auf den Bericht des Dr. med. P._ vom 16. November 2011 ist weder offensichtlich unrichtig noch willkürlich. Die Vorinstanz hat sich auch eingehend mit dem Bericht des Dr. med. M._ vom 16. Januar 2012 auseinandergesetzt. Ihre Schlussfolgerung ist vertretbar. Selbst wenn mit Dr. med. M._ von somatischen Ursachen der Schwindel- und Gleichgewichtsstörungen ausgegangen wird, so sind diese Beschwerden und die damit verbundenen Stürze sowie Synkopen bereits im Gutachten der MEDAS vom 29. Juni 2006 und jüngeren Arztberichten erwähnt und in die Arbeitsunfähigkeitsbeurteilung einbezogen worden. Dr. med. M._ begründet im Bericht vom 16. Januar 2012 (ebenso wie in der im letztinstanzlichen Verfahren eingereichten Stellungnahme vom 3. Dezember 2012) nicht näher, weshalb er die Beschwerdeführerin für sämtliche berufliche Tätigkeiten zwischen 65 und 70 % arbeitsunfähig hält. Dass das kantonale Gericht unter diesen Umständen keine zusätzlichen Abklärungen getroffen hat, insbesondere nicht nach dem Vorliegen des Berichts des Dr. med. M._ vom 16. Januar 2012, verletzt den Untersuchungsgrundsatz und das Recht auf Beweis nicht. Ebenso wenig hat es im Zusammenhang mit dem Bericht der RAD-Ärztin Dr. med. O._, Fachärztin für Neurologie FMH, vom 12. Juni 2012, welche zum Bericht des Dr. med. M._ Stellung genommen hatte, die geltend gemachten Verfahrensrechte (Art. 6 Ziff. 1 EMRK; Art. 29 bis 31 BV) der Beschwerdeführerin verletzt. Namentlich war es nicht verpflichtet, der Beschwerdeführerin schriftlich im Rahmen einer Replik Gelegenheit zur Stellungnahme zum Bericht der RAD-Ärztin vom 12. Juni 2012 zu geben, da am 29. Oktober 2012 eine mündliche Schlussverhandlung mit der Möglichkeit von Plädoyers stattfand. In deren Vorfeld stellte die Vorinstanz dem Rechtsvertreter der Beschwerdeführerin auf dessen Gesuch hin mit Schreiben vom 4. September 2012 den Bericht der RAD-Ärztin vom 12. Juni 2012 zu.
3.2.3. Insgesamt ist aufgrund der Vorbringen der Beschwerdeführerin und der Aktenlage nicht ersichtlich, dass und inwiefern das vorinstanzliche Beweisergebnis schlechterdings nicht mehr vertretbar und damit willkürlich ist. Ebenso wenig liegt eine Verletzung des Untersuchungsgrundsatzes vor, indem das kantonale Gericht von Beweisweiterungen abgesehen hat. Die Ermittlung des Invaliditätsgrades wird nicht beanstandet.
3.3. Die Beschwerdeführerin macht schliesslich eine Bundesrechtsverletzung geltend, weil das kantonale Gericht eine Übernahme der Kosten des im vorinstanzlichen Verfahren eingereichten Berichts des Dr. med. M._ vom 16. Januar 2012 in Höhe von Fr. 3'500.- durch die IV-Stelle resp. durch das Gericht selbst verneint hat. Ferner beantragt sie den Ersatz der Kosten von Fr. 2'000.- für die im vorliegenden Verfahren eingereichte Stellungnahme des Dr. med. M._ vom 3. Dezember 2012. Expertenkosten sind nur dann Bestandteil der Parteientschädigung nach Art. 61 lit. g ATSG (SVR 2011 IV Nr. 13 S. 35 f., E. 2; <ref-ruling> f.), sofern die betreffende Beurteilung für die Interessenwahrung notwendig war, weil sich der medizinische Sachverhalt erst aufgrund dieser neu beigebrachten Untersuchungsergebnisse schlüssig feststellen lässt, und soweit die Vorinstanz massgeblich darauf abgestellt hat (Urteile 8C_708/2012 vom 16. April 2013 E. 6 und 9C_819/2010 vom 29. Oktober 2010 E. 7). Diese Voraussetzungen sind nach den zutreffenden Erwägungen des kantonalen Gerichts nicht erfüllt. Der kantonale Entscheid ist auch in diesem Punkt bundesrechtskonform. Das Gleiche gilt angesichts des Ausgangs des letztinstanzlichen Verfahrens für die Kosten des Berichts vom 3. Dezember 2012, zumal es sich bei diesem Bericht, mit welchem sich Dr. med. M._ mit der Stellungnahme der RAD-Ärztin Dr. med. O._ vom 12. Juni 2012 auseinandersetzt, um ein unzulässiges Novum handelt (Art. 99 Abs. 1 BGG). Die Auffassung des Dr. med. M._ hätte im kantonalen Verfahren bis zur öffentlichen Schlussverhandlung am 29. Oktober 2012 vorgelegt werden können, nachdem die Vorinstanz dem Rechtsvertreter der Beschwerdeführerin den RAD-Bericht vom 12. Juni 2012 am 4. September 2012 zugestellt hat.
4.
Ausgangsgemäss hat die Beschwerdeführerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. August 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Nussbaumer