Sachverhalt:
A. Der 1950 geborene S._ ist von Beruf Koch. Seit 1976 gehört er als Berufsunteroffizier dem Instruktionskorps der Schweizerischen Armee an. Am 21. April 2006 meldete er sich bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle, die u.a. die Akten der Militärversicherung beizog, stützte sich im Wesentlichen auf die Einschätzung von deren Kreisarzt Dr. med. R._ aufgrund der Untersuchung vom 31. März 2006. Mit Verfügung vom 5. Dezember 2006 sprach die Militärversicherung S._ ab 1. Januar 2007 bei einem Invaliditätsgrad von 63 % eine Invalidenrente von Fr. 5126.- im Monat zu. Am 2. Juli 2007 gewährte die IV-Stelle Bern S._ ab 1. August 2007 bei einem Invaliditätsgrad von 56 % verfügungsweise eine halbe Invalidenrente. Mit einer weiteren Verfügung vom 29. August 2007 sprach sie dem Versicherten rückwirkend für die Zeit vom 1. September 2005 bis 31. Juli 2007 ebenfalls eine halbe Invalidenrente zu.
B. Die gegen die Verfügungen der IV-Stelle eingereichten Beschwerden, mit welchen S._ deren Aufhebung und die Zusprechung einer Dreiviertelsrente der Invalidenversicherung hatte beantragen lassen, wies das Verwaltungsgericht des Kantons Bern nach Vereinigung der beiden Verfahren ab (Entscheid vom 10. September 2008).
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, unter Aufhebung des vorinstanzlichen Entscheides sei ihm ab 1. August 2007 eine Dreiviertelsrente der Invalidenversicherung auszurichten.
Während die IV-Stelle unter Verzicht auf eine Vernehmlassung auf Abweisung der Beschwerde schliesst, sieht das Bundesamt für Sozialversicherungen von einer Stellungnahme ab.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. In <ref-ruling> E. 2d S. 293 f. hat das Eidgenössische Versicherungsgericht in Bestätigung seiner früheren Rechtsprechung an der hinsichtlich der Invaliditätsbemessung koordinierenden Funktion des einheitlichen Invaliditätsbegriffs in den verschiedenen Sozialversicherungszweigen festgehalten. Zwar dürfen sich Sozialversicherungsträger nicht ohne weitere eigene Prüfung mit der blossen Übernahme des von einem anderen Versicherer festgelegten Invaliditätsgrades begnügen. Indessen geht es auch nicht an, dass die Invalidität in den einzelnen Sozialversicherungszweigen völlig unabhängig von allenfalls schon getroffenen Entscheiden anderer Versicherer festgelegt wird. Zumindest rechtskräftig abgeschlossene Invaliditätsschätzungen dürfen nicht einfach unbeachtet bleiben. Vielmehr müssen sie als Indiz für eine zuverlässige Beurteilung gewertet und als solches in den Entscheidungsprozess erst später verfügender Versicherungsträger miteinbezogen werden. Unter bestimmten Umständen (siehe die Aufzählung der Gründe in <ref-ruling> E. 2b S. 292 und E. 2d S. 294) kann auch von einer rechtskräftigen Invaliditätsschätzung eines anderen Versicherers abgewichen werden. In <ref-ruling> E. 6.2-6.4 S. 554 ff. hat das Bundesgericht alsdann eine solche Bindungswirkung der Invaliditätsschätzung der Unfallversicherung für die Invalidenversicherung insbesondere mit der Begründung verneint, dass die Bemessung der Unfallversicherung im Gegensatz zur Invalidenversicherung lediglich die natürlich und adäquat kausalen gesundheitlichen und erwerblichen Unfallfolgen berücksichtigt.
Diese Begründung gilt im Verhältnis zwischen Militärversicherung und Invalidenversicherung nicht. Es besteht daher kein Anlass, soweit es um die Invaliditätsbemessung von Militärversicherung und Invaliditätsversicherung geht, ebenfalls von der in <ref-ruling> im Ergebnis weitgehend bestätigten Bindungswirkung der Invaliditätsschätzung des einen Sozialversicherers für den anderen abzuweichen, soweit allein Gesundheitsschäden in Frage stehen, für welche die Militärversicherung die Bundeshaftung anerkennt. Dies bedeutet, dass eine rechtskräftige Invaliditätsschätzung der Militärversicherung als Indiz für eine zuverlässige Beurteilung zu werten und als solches in den Entscheidungsprozess der später verfügenden Invalidenversicherung miteinzubeziehen ist, wie das Eidgenössische Versicherungsgericht in <ref-ruling> E. 2d S. 293 f. mit Bezug auf das Verhältnis zwischen Unfall- und Invalidenversicherung dargelegt hat. Eine in Rechtskraft erwachsene Rentenverfügung der Militärversicherung als massgeblich zu erachten hat die IV-Stelle namentlich in Konstellationen wie der vorliegenden, in welchen sämtliche Gesundheitsschäden mit Auswirkungen auf die Arbeits- und Erwerbsfähigkeit auch in der Militärversicherung für die Ermittlung des Invaliditätsgrades zu berücksichtigen sind.
3. Die Vorinstanz ist an sich ebenfalls von einer solchen Bindungswirkung ausgegangen. Im Ergebnis hat sie indessen den Invaliditätsgrad frei geprüft. Ausschlaggebend ist die Frage, ob der Beschwerdeführer in angepasster Tätigkeit einer Arbeitsfähigkeit von 100 % hat (wie die Vorinstanz angenommen hat) oder aber bloss 80 %, wovon der Kreisarzt der Militärversicherung und in der Folge dann auch die Militärversicherung ausgegangen sind. Der Unterschied in der Betrachtungsweise liegt darin begründet, dass der Kreisarzt einen Tag pro Woche für Therapie und Erholung zugestanden hat, wogegen die Vorinstanz erwogen hat, eine besondere Therapie- und Erholungsbedürftigkeit sei nicht ausgewiesen. Diese Beurteilung wäre kaum zu beanstanden, wenn sie im Rahmen einer freien Prüfung erfolgte. Doch ist auch die Annahme der Militärversicherung eine vertretbare Ermessensausübung, so dass sich angesichts der dargelegten Rechtsprechung eine abweichende Beurteilung für die Invalidenversicherung nicht rechtfertigt.
Da somit im vorliegenden Fall keine Gründe zu erkennen sind, die ausnahmsweise ein Abweichen von der rechtskräftigen Invaliditätsschätzung der Militärversicherung gemäss Verfügung vom 5. Dezember 2006 nahe legen, ist auch für die Belange der Invalidenversicherung von einem Invaliditätsgrad von 63 % auszugehen. Der Beschwerdeführer hat damit Anspruch auf eine Dreiviertelsrente der Invalidenversicherung, die ihm antragsgemäss erst ab 1. August 2007 auszurichten ist, weil das Bundesgericht nicht über die Begehren der Parteien hinausgehen darf (<ref-law>).
4. Dem Prozessausgang entsprechend sind die Gerichtskosten der IV-Stelle aufzuerlegen (<ref-law>). Diese hat dem obsiegenden Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Bern vom 10. September 2008 und die Verfügung der IV-Stelle vom 2. Juli 2007 aufgehoben. Es wird festgestellt, dass der Beschwerdeführer ab 1. August 2007 Anspruch auf eine Dreiviertelsrente der Invalidenversicherung hat.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle Bern auferlegt.
3. Die IV-Stelle Bern hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Bern zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, der Eidgenössischen Ausgleichskasse und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. Februar 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer