Sachverhalt: A. X._ ist Eigentümer des direkt am See liegenden und mit einem Chalet überbauten Grundstücks Nr. 223 in der Gemeinde Weggis. Er beabsichtigt, das Chalet abzubrechen und an dessen Stelle ein neues Einfamilienhaus zu bauen. Auf ein entsprechendes Baugesuch von X._ hin erteilte die Dienststelle Raumentwicklung, Wirtschaftsförderung und Geoinformation des Kantons Luzern (Dienststelle rawi) die raumplanungsrechtliche Ausnahmebewilligung für das Bauvorhaben auf dem ausserhalb der Bauzone liegenden Grundstück. Am 5. November 2008 erteilte der Gemeinderat Weggis die Baubewilligung und wies gleichzeitig die von Y._ sowie Z._, beide Eigentümer benachbarter Grundstücke, erhobenen Einsprachen gegen das Bauprojekt ab. B. Gegen die Entscheide des Gemeinderats Weggis und der Dienststelle rawi gelangten Y._ und Z._ am 3. Dezember 2008 gemeinsam an das Verwaltungsgericht des Kantons Luzern, welches mit Urteil vom 30. September 2009 auf die Beschwerde nicht eintrat, weil Y._ und Z._ nicht zur Beschwerde legitimiert seien. Eine von Y._ und Z._ dagegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten hiess das Bundesgericht gut (Urteil 1C_500/2009 vom 1. Februar 2010). Es hob das Urteil des Verwaltungsgerichts auf und wies die Angelegenheit zu neuer Beurteilung an dieses zurück. C. Am 20. April 2010 hiess das Verwaltungsgericht des Kantons Luzern die von Y._ und Z._ am 3. Dezember 2008 erhobene Beschwerde gut. Es stellte fest, dass das Bauvorhaben in der vorgesehenen Weise ausserhalb der Bauzone nicht bewilligt werden könne, und hob die Entscheide des Gemeinderats Weggis und der Dienststelle rawi auf. D. Gegen den Entscheid des Verwaltungsgerichts vom 20. April 2010 hat X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Baubewilligung des Gemeinderats Weggis sowie die Bewilligung der Dienststelle rawi seien zu bestätigen. E. Die Vorinstanz beantragt die Abweisung der Beschwerde. Y._ und Z._ beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Gemeinderat Weggis teilt mit, dass nach seiner Beurteilung mit dem geplanten Ersatzbau hinsichtlich des Aspekts der Eingliederung eine Verbesserung erzielt würde. Die Dienststelle rawi verzichtet unter Hinweis auf die Vorakten auf eine Stellungnahme. Das Bundesamt für Raumentwicklung (ARE) beantragt die Abweisung der Beschwerde. F. Im weiteren Schriftenwechsel halten der Beschwerdeführer und die Beschwerdegegner an ihren Anträgen fest.