Sachverhalt:
A.
Der 1951 geborene A._, von Beruf Primarlehrer, meldete sich am 15. Mai 2010 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Zug sprach ihm gestützt auf die von der Berufsvorsorgeeinrichtung in Auftrag gegebenen vertrauensärztlichen Berichte zunächst mit Verfügung vom 27. Juni 2011 für die Monate November 2010 bis Januar 2011 eine halbe Invalidenrente zu. Nachdem A._ Beschwerde eingereicht hatte, hob die IV-Stelle aufgrund eines psychiatrischen Gutachtens des Dr. med. B._, sowie einer Stellungnahme des Psychiaters Dr. med. C._ vom Regionalen Ärztlichen Dienst (RAD) ihre Verfügung pendente lite auf und sprach dem Versicherten am 10. April 2012 verfügungsweise rückwirkend ab 1. November 2010 eine unbefristete halbe Invalidenrente zu.
Hiegegen führte die BVK Personalvorsorge des Kantons Zürich, bei welcher A._ für die berufliche Vorsorge versichert war, Beschwerde mit dem Rechtsbegehren, es sei festzustellen, dass der Versicherte keinen Anspruch auf eine Invalidenrente hat. Das Verwaltungsgericht des Kantons Zug hob die Verfügung vom 10. April 2012 in Gutheissung der Beschwerde mit Entscheid vom 27. Juni 2013 auf.
In teilweiser Gutheissung der von A._ hiegegen eingereichten Beschwerde in öffentlich-rechtlichen Angelegenheiten hob das Bundesgericht den angefochtenen Entscheid vom 27. Juni 2013 auf und wies die Sache an das Verwaltungsgericht zurück, damit es, nach erfolgter Abklärung im Sinne der Erwägungen, über die Beschwerde neu entscheide (Urteil 9C_620/2013 vom 26. März 2014).
B.
In Nachachtung des Urteils des Bundesgerichts vom 26. März 2014 beauftragte das Verwaltungsgericht des Kantons Zug den Psychiater Dr. med. B._ mit der Ergänzung seines Gutachtens. Am 29. Juli 2014 kam der Arzt dieser Aufforderung nach. Mit Entscheid vom 23. Dezember 2014 gelangte das Verwaltungsgericht wiederum zum Schluss, dass A._ keinen Anspruch auf eine Invalidenrente habe. Mit dieser Feststellung hob es die Verfügung vom 10. April 2012 in Gutheissung der Beschwerde der BVK Personalvorsorge des Kantons Zürich auf (Entscheid vom 23. Dezember 2014).
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheids sei ihm mindestens eine unbefristete halbe Invalidenrente zuzusprechen. Eventuell sei die Sache erneut zu weiteren Abklärungen an das kantonale Gericht zurückzuweisen. Subeventuell sei ihm eine befristete halbe Invalidenrente zu gewähren.
Die IV-Stelle beantragt, die Beschwerde sei insofern gutzuheissen, als dem Versicherten ab 1. November 2010 eine unbefristete halbe Invalidenrente zuzusprechen sei. Ferner seien die Kosten des ersten Gerichtsverfahrens (vor dem kantonalen Verwaltungsgericht und dem Bundesgericht) neu zu verlegen. Die BVK Personalvorsorge des Kantons Zürich als Mitbeteiligte schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2.
Das kantonale Gericht hat die bisherige Rechtsprechung zur invalidenversicherungsrechtlichen Relevanz unklarer Beschwerdebilder (<ref-ruling> und seitherige Rechtsprechung) korrekt dargelegt. Nachdem das Bundesgericht mit <ref-ruling> seine Rechtsprechung zu den Voraussetzungen, unter denen anhaltende somatoforme Schmerzstörungen und vergleichbare psychosomatische Leiden eine rentenbegründende Invalidität zu bewirken vermögen, grundlegend überdacht und teilweise geändert hat, ist zu prüfen, welche Auswirkungen sich dadurch auf den hier zu beurteilenden Fall ergeben (zur Anwendbarkeit einer Rechtsprechungsänderung auf laufende Verfahren vgl. <ref-ruling> E. 6 S. 266).
3.
3.1. Weiterhin kann eine Einschränkung der Leistungsfähigkeit nur anspruchserheblich sein, wenn sie Folge einer fachärztlich einwandfrei diagnostizierten Gesundheitsbeeinträchtigung ist (<ref-ruling>). Auch künftig wird der Rentenanspruch - in Nachachtung der verfassungs- und gesetzmässigen Vorgaben von Art. 8 und 29 BV (Rechtsgleichheit) und <ref-law> (objektivierte Zumutbarkeitsbeurteilung) - anhand eines normativen Prüfrasters beurteilt (vgl. <ref-ruling> E. 2.2.2 S. 353 und 139 V 547 E. 5.9 S. 558 f.), und es braucht medizinische Evidenz, dass die Erwerbsunfähigkeit aus objektiver Sicht eingeschränkt ist. Indes hält das Bundesgericht - der seit längerem namentlich aus medizinischer, aber auch aus juristischer Sicht an der bisherigen Schmerzrechtsprechung geäusserten Kritik Rechnung tragend - an der Überwindbarkeitsvermutung nicht weiter fest (<ref-ruling> E. 3.5 S. 294).
3.2. Eine anhaltende somatoforme Schmerzstörung und vergleichbare Leiden können nach der geänderten Rechtsprechung eine Invalidität begründen, sofern funktionelle Auswirkungen der medizinisch festgestellten gesundheitlichen Anspruchsgrundlage im Einzelfall anhand der Standardindikatoren (E. 4 hienach) schlüssig und widerspruchsfrei mit zumindest überwiegender Wahrscheinlichkeit in einem anspruchserheblichen Ausmass nachgewiesen sind (BGE 141 V E. 6 S. 307).
4.
Gemäss <ref-ruling> E. 3.6 S. 294 f. stellt sich die Frage, ob eine diagnostizierte Schmerzstörung zu einer ganzen oder teilweisen Arbeitsunfähigkeit führt, nicht mehr im Hinblick auf die Widerlegung einer Ausgangsvermutung. Das bisherige Regel/Ausnahmemodell wird durch einen strukturierten, normativen Prüfungsraster ersetzt. Anhand eines Kataloges von Indikatoren erfolgt eine ergebnisoffene symmetrische Beurteilung des - unter Berücksichtigung leistungshindernder äusserer Belastungsfaktoren einerseits und Kompensationspotenzialen (Ressourcen) andererseits - tatsächlich erreichbaren Leistungsvermögens. Wie in BGE 141 V E. 4.1 S. 296 f. weiter dargelegt wurde, stehen vermehrt auch Ressourcen, welche die schmerzbedingte Belastung kompensieren können und damit die Leistungsfähigkeit begünstigen, im Fokus. Dieser Ansatz führt zu Anpassungen in der Formulierung der Indikatoren. Ebenso ist eine gewisse sachliche Erweiterung der massgeblichen Prüfungsgesichtspunkte angezeigt. Die im Regelfall beachtlichen Standardindikatoren können anhand gemeinsamer Eigenschaften systematisiert werden:
Kategorie "funktioneller Schweregrad"
Komplex "Gesundheitsschädigung"
Ausprägung der diagnoserelevanten Befunde
Behandlungs- und Eingliederungserfolg oder -resistenz
Komorbiditäten
Komplex "Persönlichkeit" (Persönlichkeitsdiagnostik, persönliche Ressourcen)
Komplex "sozialer Kontext"
Kategorie "Konsistenz" (Gesichtspunkte des Verhaltens)
gleichmässige Einschränkung des Aktivitätenniveaus in allen ver- gleichbaren Lebensbereichen
behandlungs- und eingliederungsanamnestisch ausgewiesener Leidensdruck.
Die Antworten, welche die medizinischen Sachverständigen anhand der (im Einzelfall relevanten) Indikatoren geben, verschaffen den Rechtsanwendern Indizien, wie sie erforderlich sind, um den Beweisnotstand im Zusammenhang mit der Beurteilung der Arbeitsunfähigkeit bei psychosomatischen Störungen zu überbrücken (<ref-ruling> E. 4.1 S. 297 f.).
In <ref-ruling> E. 4.3 und 4.4 S. 298-304 sind die vorstehend aufgezählten, relevanten Indikatoren, die als Prüfungsraster rechtlicher Natur (<ref-ruling> E. 5 S. 304) für die Beurteilung heranzuziehen sind, näher erörtert.
5.
Im angefochtenen Entscheid wird die Frage, ob der Beschwerdeführer infolge einer undifferenzierten Somatisierungsstörung Rentenleistungen der Invalidenversicherung beanspruchen kann, anhand der Rechtsprechung zu den anhaltenden somatoformen Schmerzstörungen gemäss <ref-ruling> gestützt auf die in jenem Urteil als massgebend erklärten Foerster-Kriterien verneint. Nachdem nunmehr die Rechtsprechung gemäss <ref-ruling> Anwendung findet, hat die Beurteilung des tatsächlich erreichbaren Leistungsvermögens des Versicherten anhand des Kataloges von Indikatoren (<ref-ruling> E. 4 S. 296 ff.) zu erfolgen.
5.1. In intertemporaler Hinsicht verlieren gemäss altem Verfahrensstandard eingeholte Gutachten nicht per se ihren Beweiswert. Vielmehr ist im Rahmen einer gesamthaften Prüfung des Einzelfalls entscheidend, ob ein abschliessendes Abstellen auf die vorhandenen Beweisgrundlagen vor Bundesrecht standhält (<ref-ruling> E. 6 S. 266). In sinngemässer Anwendung auf die nunmehr materiell-beweisrechtlich geänderten Anforderungen ist in jedem Fall zu prüfen, ob die beigezogenen administrativen und/oder gerichtlichen Sachverständigengutachten - gegebenenfalls im Kontext mit weiteren fachärztlichen Berichten - eine schlüssige Beurteilung im Lichte der massgeblichen Indikatoren erlauben oder nicht. Je nach Abklärungstiefe und -dichte kann zudem unter Umständen eine punktuelle Ergänzung genügen (<ref-ruling> E. 8 S. 309).
5.2. Im vorliegenden Fall erlauben die medizinischen Unterlagen keine zuverlässige Beurteilung von Diagnose und Arbeitsunfähigkeit des Beschwerdeführers im Lichte der geänderten Rechtsprechung. Weder das von der Vorinstanz in Nachachtung des die Parteien des vorliegenden Verfahrens betreffenden Bundesgerichtsurteils 9C_620/2013 vom 26. März 2014 eingeholte Ergänzungsgutachten des Psychiaters Dr. med. B._ (vom 29. Juli 2014) noch die früheren fachärztlichen Berichte und Stellungnahmen ermöglichen eine schlüssige Beurteilung, insbesondere nicht eine solche nach Massgabe der relevanten Indikatoren, wie sie rechtsprechungsgemäss bei anhaltenden somatoformen Schmerzstörungen und vergleichbaren psychosomatischen Leiden (<ref-ruling> E. 4.2 S. 298) vorzunehmen ist. Dr. med. B._ hat im Ergänzungsgutachten vom 29. Juli 2014 ausschliesslich die ihm vom kantonalen Gericht und von den Parteien unterbreiteten Fragen aus dem Kriterienkatalog von <ref-ruling> beantwortet, der nach der geänderten Rechtsprechung nicht mehr massgebend ist. Dementsprechend sind seine Angaben im Zusammenhang mit der Beurteilung gemäss der geänderten Rechtsprechung <ref-ruling> nicht einschlägig. Die Sache ist daher an die Vorinstanz zurückzuweisen, damit sie ein psychiatrisches Obergutachten einhole und gestützt auf die vom Sachverständigen gewonnenen Erkenntnisse über den Anspruch des Beschwerdeführers auf eine Invalidenrente ab 1. November 2010 im Lichte der geänderten Rechtsprechung neu entscheide.
6.
Soweit die IV-Stelle beantragt, die Kosten des mit Entscheid des Verwaltungsgerichts des Kantons Zug vom 27. Juni 2013 und Urteil des Bundesgerichts 9C_620/2013 vom 26. März 2014 beurteilten Verfahren seien neu zu verlegen, kann darauf nicht eingetreten werden. Das Urteil des Bundesgerichts vom 26. März 2014 ist mit Ausfällung rechtskräftig geworden (<ref-law>), was auch für die Kostenverlegung gilt. Im Übrigen gibt es im Verfahren vor dem Bundesgericht keine Anschlussbeschwerde (<ref-ruling> E. 2.5 S. 335). Die IV-Stelle als Beschwerdegegnerin ist nicht befugt, selbstständig prozessuale Anträge zu stellen, die über die Abweisung oder (teilweise) Gutheissung der Beschwerde hinausgehen.
7.
7.1. Laut <ref-law> werden die Gerichtskosten in der Regel der unterliegenden Partei auferlegt. Nach <ref-law> bestimmt das Bundesgericht im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind (Abs. 1). Die unterliegende Partei wird in der Regel verpflichtet, der obsiegenden Partei nach Massgabe des Tarifs des Bundesgerichts alle durch den Rechtsstreit verursachten notwendigen Kosten zu ersetzen (Abs. 2).
7.2. Nach der Rechtsprechung orientieren sich Obsiegen und Unterliegen im Prozess einzig am Rechtsbegehren der Beschwerde führenden Partei. Massgebend ist, ob und in welchem Umfang diese - zum Nachteil des Beschwerdegegners - eine Änderung des vorinstanzlichen Entscheids zu bewirken vermag (<ref-ruling>; Urteil 5A_61/2012 vom 23. März 2012 E. 4). Dieser Grundsatz gilt nicht nur für allfällige Gerichtskosten, sondern auch für die Frage der Parteientschädigung (Urteile I 197/04 vom 25. Juni 2004 E. 3.2.1 und I 571/99 vom 1. März 2001 E. 3a).
7.3. Dementsprechend sind die Gerichtskosten der IV-Stelle aufzuerlegen, auch wenn sie den Antrag auf Gutheissung der Beschwerde gestellt hat. Ebenso hat die Beschwerdegegnerin dem Beschwerdeführer für das letztinstanzliche Verfahren eine Parteientschädigung zu bezahlen, zumal die Rückweisung an die Vorinstanz zu weiteren Abklärungen und neuer Entscheidung nach der Rechtsprechung im Entschädigungspunkt einem vollen Obsiegen gleichgestellt ist (<ref-ruling> E. 13 S. 471, 132 V 215 E. 6.2 S. 235).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der angefochtene Entscheid vom 23. Dezember 2014 wird aufgehoben. Die Sache wird an das Verwaltungsgericht des Kantons Zug zurückgewiesen, damit es nach Einholung eines psychiatrischen Obergutachtens über die Beschwerde neu entscheide. Im Übrigen wird die Beschwerde abgewiesen.
2.
Auf die Anschlussbeschwerde der IV-Stelle Zug wird nicht eingetreten.
3.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
4.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
5.
Dieses Urteil wird den Parteien, der BVK Personalvorsorge des Kantons Zürich, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. November 2015
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Der Gerichtsschreiber: Widmer