Sachverhalt: A. A.a. A._, geboren 1975, arbeitete bis am 3. Juni 2005 als Spritzerei-Mitarbeiter bei der B._ AG. Die Arbeitgeberin löste das Arbeitsverhältnis auf den 31. Januar 2006 aus wirtschaftlichen Gründen auf. Am 28. Januar 2006 meldete sich A._ unter Hinweis auf Rückenschmerzen und Depressionen bei der Invalidenversicherung zum Leistungsbezug an, nachdem er vom 12. September bis zum 12. November 2005 in der Psychiatrischen Klinik C._ hospitalisiert gewesen war. Die IV-Stelle des Kantons Zug liess ihn interdisziplinär durch das Institut für forensische Psychiatrie und Psychotherapie IFPP abklären (Gutachten vom 16. April 2007). Gestützt darauf stellte sie A._ am 2. Oktober 2007 eine Viertelsrente in Aussicht. In der Folge trat eine Verschlechterung des psychischen Gesundheitszustandes ein. A._ hielt sich vom 18. Oktober bis zum 20. November 2007 in der Klinik für Psychiatrie und Psychotherapie D._ auf, wo eine rezidivierende depressive Störung, gegenwärtig schwere Episode, diagnostiziert wurde. Mit den Verfügungen vom 30. Mai 2008 und vom 27. Juni 2008 sprach die IV-Stelle A._ für die Zeit vom 1. Mai 2006 bis zum 31. Dezember 2007 eine Viertelsrente und ab dem 1. Januar 2008 eine ganze Invalidenrente zu. Die ganze Rente wurde am 9. November 2010 bestätigt. Im Zuge einer von Amtes wegen eingeleiteten Revision holte die IV-Stelle ein psychiatrisch-psychotherapeutisches Gutachten des Dr. med. E._, vom 11. Februar 2014 sowie ein rheumatologisches Gutachten des Dr. med. F._, vom 20. März 2015 ein. Gestützt darauf stellte sie die Rente mit Verfügung vom 11. Juni 2015 ein. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 10. März 2016 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen, es sei der angefochtene Entscheid aufzuheben und es sei die Sache zu ergänzender Abklärung und Neubeurteilung an die Vorinstanz zurückzuweisen. Eventualiter sei ihm eine halbe Invalidenrente zuzusprechen, subeventualiter seien Wiedereingliederungsmassnahmen zu gewähren. Die IV-Stelle und das Verwaltungsgericht schliessen auf Abweisung der Beschwerde. A._ hat dazu Stellung genommen.