Sachverhalt: A. K._, geboren 1965, war am 30. Oktober 2000 bei seiner Tätigkeit als Küchengehilfe bei der Klinik X._ auf dem nassen Fussboden ausgerutscht. Er klagte seither über Schmerzen im Leistenbereich rechts und arbeitete in der Folge nur noch zu 50%. Am 15. November 2001 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf den Bericht des PD Dr. med. A._, Chirurgie FMH, vom 11. Februar 2002, lehnte die IV-Stelle Bern den Anspruch auf eine Invalidenrente mit Verfügung vom 12. April 2002 ab. K._ stellte am 11. September 2003 erneut ein Rentengesuch, auf welches die IV-Stelle nicht eintrat (Verfügung vom 27. Oktober 2003). Nach Einreichung weiterer Unterlagen, unter anderem eines Operationsberichts über eine Hüftarthroskopie und Osteophytektomie (Pfannendachplastik) vom 20. April 2004, liess die IV-Stelle den Versicherten zunächst durch Dr. med. E._, Orthopädische Chirurgie FMH, sowie durch Dr. med. I._, Psychiatrie Psychotherapie FMH, untersuchen (Gutachten vom 17. Oktober 2005 bzw. vom 31. Januar 2006) und holte in der Folge ein weiteres psychiatrisches Gutachten des Dr. med. S._, vom 24. Februar 2008 ein. Schliesslich veranlasste sie eine interdisziplinäre Begutachtung durch Dr. med. V._, Psychiatrie und Psychotherapie FMH, und Dr. med. H._, Physikalische Medizin und Rehabilitation, speziell Rheumaerkrankungen FMH (Gutachten vom 1. Oktober 2008 bzw. 27. Oktober 2008). Gestützt darauf sprach sie K._ mit Verfügung vom 24. Dezember 2009 ab 1. Juni 2004 eine halbe, bis zum 30. Juni 2008 befristete Invalidenrente zu. B. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid vom 29. Juli 2010 teilweise gut und setzte den Rentenbeginn auf den 1. März 2004 fest; im Übrigen wurde die Beschwerde abgewiesen. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm eine unbefristete Invalidenrente zuzusprechen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.