Sachverhalt: A. J._ (geboren 1946) war seit 1989 bei der P._ SA angestellt und in dieser Eigenschaft bei der "Zürich" Versicherungs-Gesellschaft (nachfolgend: Zürich) gegen die Folgen von Unfällen versichert. Am 2. Juni 2004 rutschte er beim Verlad von Junghennen in zu Türmen aufgeschichteten Körben aus und schlug mit der linken Schulter an einem dieser Türme an. Die Zürich erbrachte die gesetzlichen Leistungen. Mit Verfügung vom 18. Januar 2006, bestätigt mit Einspracheentscheid vom 31. August 2006, stellte die Zürich fest, sie sei seit 1. Januar 2005 nicht mehr leistungspflichtig. B. Das Verwaltungsgericht des Kantons Luzern wies die hiegegen erhobene Beschwerde mit Entscheid vom 4. März 2008 ab. C. J._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und die Zürich zu verpflichten, ihm auch nach dem 1. Januar 2005 Taggelder auszurichten. Eventualiter sei die Sache zu neuer Entscheidung zurückzuweisen. Die Vorinstanz und die Zürich schliessen auf Abweisung der Beschwerde. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung.