Sachverhalt: A. X._ und Y._ ersuchten den Gemeinderat Stansstad um die Bewilligung für einen Teilabbruch/Umbau/Wiederaufbau ihres Wohnhauses Hostettli 1 in Kehrsiten, Parzelle Nr. 399. Gegen das Projekt erhoben A._ sowie B._ und C._ Einsprache. Der Gemeinderat Stansstad wies die Einsprache am 17. Mai 2010 ab und erteilte die Bewilligung unter Bedingungen und Auflagen. Die Einsprecher erhoben Beschwerde beim Regierungsrat des Kantons Nidwalden. Dieser hiess die Beschwerde am 18. Januar 2011 gut, hob die Gemeinderatsbeschlüsse auf und verweigerte die Baubewilligung. Zur Begründung legte er dar, dass das umstrittene Bauvorhaben als Neubau zu qualifizieren sei und nach Art. 8 des Bau- und Zonenreglements der Gemeinde Stansstad mangels eines Gestaltungsplans nicht bewilligt werden könne. Dagegen rekurrierten die Grundeigentümer X._ und Y._. Das Verwaltungsgericht des Kantons Nidwalden hiess deren Beschwerde am 5. September 2011 gut, hob den Regierungsratsentscheid auf und wies die Sache zu neuer Beurteilung an diesen zurück. Es führte im Wesentlichen aus, das umstrittene Bauvorhaben könne als Umbau im Sinne von Art. 8 des Bau- und Zonenreglements der Gemeinde Stansstad verstanden und daher grundsätzlich bewilligt werden. B. Die Einsprecher A._ sowie B._ und C._ ersuchen das Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 13. Februar 2012 darum, das Urteil des Verwaltungsgerichts aufzuheben und den Entscheid des Regierungsrates zu bestätigen; eventualiter sei die Sache an das Verwaltungsgericht zur Neubeurteilung zurückzuweisen. Die Beschwerdeführer rügen eine Verletzung des Willkürverbots und machen im Wesentlichen geltend, Erweiterungsbauten könnten nicht als Umbau im Sinne des Bau- und Zonenreglements verstanden werden; das umstrittene Bauvorhaben stelle einen Neubau dar und könne mangels entsprechender Voraussetzungen nicht bewilligt werden. Die Beschwerdegegner X._ und Y._ stellen den Antrag, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen. Die Staatskanzlei des Kantons Nidwalden ersucht unter Hinweis auf den Regierungsratsentscheid um Abweisung der Beschwerde. Der Gemeinderat Stansstad beantragt mit Verweis auf den angefochtenen Entscheid die Abweisung. Das Verwaltungsgericht hat auf Vernehmlassung verzichtet. Die Beschwerdeführer halten in ihrer Replik an Anträgen und Begründung fest.