Sachverhalt:
A.
Der 1970 geborene A._ war seit 1998 bis zu seiner Entlassung auf Ende April 2007 als Akkordmaurer bei der Firma B._ & Co. angestellt. Nach einer ersten Anmeldung bei der Invalidenversicherung vom 10. Juli 2007 wegen Rückenbeschwerden gewährte die IV-Stelle Schwyz berufliche Massnahmen. Das Gesuch um Zusprechung einer Invalidenrente lehnte sie mit Verfügung vom 3. Juni 2009 ab. Seit April 2010 war der Versicherte als Mitarbeiter Betonproduktion bei der C._ AG tätig. Dieses Anstellungsverhältnis kündigte die Arbeitgeberin aus wirtschaftlichen Gründen auf den 31. März 2018 Am 22. Januar 2018 meldete sich A._ unter Hinweis auf einen Bandscheibenvorfall erneut bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle traf verschiedene Abklärungen. U.a. zog sie ein von der CSS-Versicherung bei der PMEDA Polydisziplinäre Medizinische Abklärungen, Zürich, in Auftrag gegebenes orthopädisches Gutachten vom 4. April 2018 bei, zu welchem D._, Regionaler Ärztlicher Dienst (RAD), am 14. August 2018 Stellung nahm. RAD-Arzt Dr. med. E._ äusserte sich am 14. März 2019 zu den neuesten Arztberichten. Mit Verfügung vom 5. April 2019 verneinte die IV-Stelle nach Ermittlung eines Invaliditätsgrades von 14 % den Anspruch des Versicherten auf eine Invalidenrente. Mit Mitteilung vom gleichen Tag eröffnete sie A._, sie übernehme die Kosten für Berufsberatung und Abklärung der beruflichen Eingliederungsmöglichkeiten im Hinblick auf Umschulungsmassnahmen. Diese Mitteilung schliesse das Verfahren nicht ab. Allfällige weitere Leistungsansprüche würden noch geprüft.
B.
Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 8. August 2019 im Sinne der Erwägungen ab, soweit es darauf eintrat.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung des vorinstanzlichen Entscheids seien ihm die gesetzlichen Leistungen, insbesondere eine Invalidenrente, zuzusprechen. Eventuell sei die Sache an die IV-Stelle zurückzuweisen, damit diese nach Beendigung der Eingliederungsmassnahmen über den Anspruch auf eine Invalidenrente neu verfüge. Ferner ersucht er um die Durchführung eines zweiten Schriftenwechsels.

Erwägungen:
1.
1.1. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts durch die Vorinstanz nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Entscheid den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2. Soweit erforderlich stellt das Bundesgericht die Beschwerde der Vorinstanz und den allfälligen anderen Parteien, Beteiligten oder zur Beschwerde berechtigten Behörden zu und setzt ihnen Frist zur Einreichung einer Vernehmlassung an (<ref-law>). Ein weiterer Schriftenwechsel findet in der Regel nicht statt (<ref-law>).
Im vorliegenden Fall ist die Durchführung eines Schriftenwechsels nicht erforderlich, da der Rechtsstandpunkt der Beschwerdegegnerin aktenkundig ist. Der Verfahrensantrag auf Anordnung eines zweiten Schriftenwechsels ist damit gegenstandslos.
2.
Die Vorinstanz hat die Bestimmungen und Grundsätze über die Begriffe der Erwerbsunfähigkeit (vgl. <ref-law>; <ref-ruling> E. 3d S. 28 f.), der Invalidität (<ref-law>), die Bedeutung ärztlicher Auskünfte im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261), die Beweiswürdigung (<ref-ruling> E. 1.3.4 S. 227) sowie den Beweiswert ärztlicher Berichte (<ref-ruling> E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
3.
In einlässlicher Würdigung der medizinischen Akten, insbesondere des orthopädischen Gutachtens der PMEDA vom 4. April 2018 und der damit hinsichtlich der Arbeitsfähigkeit übereinstimmenden regionalärztlichen Stellungnahmen, hielt das kantonale Gericht fest, dass dem Versicherten aufgrund seiner belastungsabhängigen Rückenbeschwerden die angestammte Erwerbstätigkeit in der Baubranche nicht mehr zumutbar sei. Hingegen fielen für ihn körperlich leichte, wechselbelastende Arbeiten in vollem Umfang in Betracht. Hievon abweichende Einschätzungen behandelnder Ärzte seien der unterschiedlichen Natur von Begutachtungs- und Behandlungsauftrag zuzuschreiben und vermöchten die Beweiskraft der PMEDA-Expertise nicht zu erschüttern.
4.
4.1. Der Beschwerdeführer macht zunächst geltend, die Vorinstanz hätte noch nicht über den Rentenanspruch entscheiden dürfen, da die IV-Stelle seinen Anspruch auf Eingliederungsmassnahmen anerkannt habe. Vielmehr hätte sie das Ergebnis dieser Vorkehren abwarten müssen. Da ein Anspruch auf ein Wartezeittaggeld bestanden habe, sei die Rentenprüfung obsolet gewesen.
Diese Einwendungen sind nicht stichhaltig. Richtig ist, dass der Rentenanspruch nicht entstehen kann, solange Eingliederungsmassnahmen durchgeführt und dafür Taggelder ausgerichtet werden (<ref-ruling> E. 5 S. 243). Im vorliegenden Fall hat die IV-Stelle dem Versicherten am 5. April 2019 mitgeteilt, sie komme für Berufsberatung und Abklärung der beruflichen Eingliederungsmöglichkeiten im Hinblick auf Umschulungsmassnahmen auf. Eine Eingliederungsmassnahme mit (akzessorischer) Taggeldberechtigung war dem Beschwerdeführer indessen nicht zugesprochen worden, was einer Verfügung über die Invalidenrente entgegengestanden hätte. Sodann hat sich aufgrund der medizinischen und erwerblichen Abklärungen im Rahmen eines Einkommensvergleichs ergeben, dass bereits vor Durchführung beruflicher Massnahmen ein Invaliditätsgrad von unter 40 % resultierte, der zu keiner Invalidenrente berechtigt (<ref-law>). Damit bestand kein Hinderungsgrund, den Rentenanspruch verfügungsweise abzulehnen, wie das kantonale Gericht im Ergebnis zu Recht erkannt hat.
4.2. Soweit der Beschwerdeführer eine Verletzung des rechtlichen Gehörs rügt, weil die Vorinstanz nicht auf alle vorgebrachten Argumente Bezug genommen hat, hat er sich entgegen halten zu lassen, dass das (erstinstanzliche) Gericht nicht zu sämtlichen vorgetragenen Einwendungen Stellung nehmen muss. Vielmehr genügt es unter dem Gesichtswinkel der Begründungsdichte und hinsichtlich der Wahrung des rechtlichen Gehörs der Parteien, wenn im Entscheid auf die wesentlichen Argumente der Beschwerde eingegangen wird.
4.3. Der Beschwerdeführer weist weiter darauf hin, dass dem von der CSS als Taggeldversicherung veranlassten orthopädischen Gutachten der PMEDA vom 4. April 2018 lediglich der Beweiswert einer versicherungsinternen ärztlichen Stellungnahme zukomme; es genügten daher geringe Zweifel an dessen Richtigkeit, damit es als nicht verwertbar anzusehen sei. Dies trifft zu (vgl. <ref-ruling> E. 3b/ee S. 353 f mit Hinweis). Indessen sieht der Versicherte davon ab, darzutun, inwiefern das kantonale Gericht den rechtserheblichen medizinischen Sachverhalt offensichtlich unrichtig, d.h. willkürlich, festgestellt haben soll, indem es sich hauptsächlich auf diese monodisziplinäre Expertise gestützt hat. Vielmehr beschränkt er sich auf eine unzulässige appellatorische Kritik an der Beweiswürdigung der Vorinstanz, auf welche das Bundesgericht aufgrund der ihm zustehenden Überprüfungsbefugnis (E. 1.1 hievor) nicht eingehen kann. Ebenso wenig macht der Beschwerdeführer mit ausreichender Begründung geltend, dass das kantonale Gericht anderweitig Bundesrecht verletzt habe. Arztberichte zu zitieren, die einen tieferen Arbeitsfähigkeitsgrad attestieren als der Gutachter der PMEDA, genügt nicht.
5.
Der Eventualantrag auf Rückweisung der Sache an die IV-Stelle ist gegenstandslos, durfte doch die IV-Stelle mit der Verfügung vom 5. April 2019 über den Anspruch auf eine Invalidenrente befinden, ohne das Resultat allfälliger beruflicher Eingliederungsmassnahmen abzuwarten, wie die Vorinstanz richtig festgehalten hat (E. 4.1 hievor).
6.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. November 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Widmer