Sachverhalt: A. B._, geboren 1963, war seit 1. Januar 2000 bei der Q._ AG angestellt und in dieser Eigenschaft bei der Schweizerischen Unfallversicherungsanstalt (nachfolgend: SUVA) gegen die Folgen von Unfällen versichert. Am 19. November 2004 löste sich durch eine Windböe ein Fensterrahmen aus der Verankerung und fiel auf ihn. B._ setzte in der Folge mit der Arbeit aus. Die SUVA stellte ihre Leistungen per 5. Oktober 2005 ein. Am 29. März 2006 meldete er sich zum Bezug von Leistungen der Invalidenversicherung an. Die IV-Stelle Schwyz (nachfolgend: IV-Stelle) verneinte in ihrem Vorbescheid vom 14. Dezember 2006 einen Leistungsanspruch. Mit Verfügung vom 5. Februar 2007 hielt sie daran fest. B. B._ liess hiegegen Beschwerde erheben. Mit Entscheid vom 19. September 2007 wies das Verwaltungsgericht des Kantons Schwyz seine Beschwerde ab. C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, der Entscheid vom 19. September 2007 und die Verfügung vom 5. Februar 2007 seien dahingehend abzuändern, dass ihm eine Invalidenrente zustehe. Eventualiter sei die Sache unter Aufhebung des vorinstanzlichen Entscheids und der Verwaltungsverfügung an die IV-Stelle zu ergänzenden Abklärungen zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.