Sachverhalt: A. Der 1975 geborene A._, als Bodenleger tätig, zog sich bei Unfällen vom 5. August 2002 und 20. August 2004 Verletzungen im Bereich des linken Kniegelenks und an der Halswirbelsäule (HWS) zu, für welche die Schweizerische Unfallversicherungsanstallt (SUVA), bei der er gegen Unfälle versichert war, die gesetzlichen Leistungen erbrachte. Mit Verfügung vom 17. Januar 2007 sprach ihm die SUVA auf der Grundlage einer Erwerbsunfähigkeit von 47 % ab 1. März 2006 eine Invalidenrente der Unfallversicherung zu. Am 19. August 2005 hatte sich A._ unter Hinweis auf Beschwerden im Bereich der HWS bei der Invalidenversicherung zum Leistungsbezug angemeldet. Gestützt auf Abklärungen in medizinischer und erwerblicher Hinsicht sowie nach Beizug der Akten der SUVA sprach die IV-Stelle des Kantons Zürich dem Versicherten mit Verfügung vom 20. November 2008 rückwirkend ab 1. August 2005 bei einem Invaliditätsgrad von 50 % eine halbe Invalidenrente zu. Im Rahmen einer von Amtes wegen eingeleiteten Rentenrevision holte die IV-Stelle ein polydisziplinäres Gutachten der MEDAS Zentralschweiz vom 27. März 2012 ein. Mit Verfügung vom 8. Mai 2014 hob sie die Verfügung vom 20. November 2008 wiedererwägungsweise auf und setzte die bisher ausgerichtete halbe Invalidenrente ab 1. Juli 2014 auf eine Viertelsrente herab, wobei sie den Invaliditätsgrad nunmehr auf 43 % festsetzte. B. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 27. August 2015 ab, hob die Verfügung vom 8. Mai 2014 nach vorgängiger Androhung einer reformatio in peius und Einräumung der Gelegenheit zur Stellungnahme, wovon der Versicherte am 20. Oktober 2014 Gebrauch gemacht hatte, auf und erkannte, dass A._ ab 1. Juli 2014 keinen Anspruch auf eine Invalidenrente mehr habe. C. Mit Beschwerde in öffentlich rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung des vorinstanzlichen Entscheids, sei die IV-Stelle zu verpflichten, ihm weiterhin eine halbe Rente, eventuell eine Viertelsrente der Invalidenversicherung, auszurichten. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.