Sachverhalt:
A. Gemäss dem 1995 erlassenen und 1998 teilweise revidierten Zonen- und Generellen Gestaltungsplan der Gemeinde Lü liegt das Gebiet "Pra dals Fops" in der Wohnzone. Im Jahr 2001 erliess der Gemeindevorstand Lü den Quartierplan "Pra dals Fops". Dieser legt die Standorte der einzelnen Gebäude mittels Baulinien (Baufenstern) fest.
Per 1. Januar 2009 schlossen sich sämtliche Gemeinden im Münstertal, einschliesslich der Gemeinde Lü, zur neuen Gemeinde Val Müstair zusammen, für welche eine neue Grundordnung zu erarbeiten war. Am 25. Mai 2009 wurde zu diesem Zweck eine Planungszone über das gesamte Gebiet der neuen Gemeinde erlassen. Im Juni 2010 wurde der neue Zonen- und Generelle Gestaltungsplan "Fuldera/Lü/Lüsai" dem kantonalen Amt für Raumentwicklung zur Vorprüfung eingereicht. Daraus ergibt sich, dass das Gebiet "Pra dals Fops" in der Wohnzone verbleiben soll und auch ausserhalb der überarbeiteten Gefahrenzone liegt. Im neuen Baugesetz von Val Müstair sind bezüglich Dachgestaltung keine verschärften Vorschriften vorgesehen; hingegen soll die Ausnützungsziffer (AZ) in der Wohnzone auf 0.5 und die Gebäudehöhe auf höchstens 8.5 m gesenkt werden (Art. 10 E-BauG Val Müstair).
B. Am 25. März 2010 reichten AY._ und BY._ bei der Gemeinde Val Müstair ein Baugesuch für die Erstellung eines Einfamilienhauses im Quartierplangebiet "Pra dals Fops" ein (Parzelle 32.8 alt bzw. Nr. 2667 neu).
Gegen das Bauvorhaben erhob X._ Einsprache. Er rügte u.a. die Verletzung von Grenzabstandsvorschriften und die mangelhafte Gestaltung des Gebäudes.
Mit einer ersten Projektänderung wurde das geplante Gebäude um 2 m nach Süden verschoben. X._ hielt in Kenntnis der Änderung an seiner Einsprache fest.
Gestützt auf die Empfehlungen der von der Gemeinde zugezogenen Bauberatung wurde das Projekt noch ein weiteres Mal überarbeitet. Dabei wurde insbesondere die Dachform abgeändert, indem neu ein Giebeldach vorgesehen wurde.
C. Am 11./13. August 2010 bewilligte der Gemeindevorstand Val Müstair das Bauvorhaben unter verschiedenen Auflagen und Bedingungen und wies die Einsprache von X._ ab.
Dagegen erhob X._ am 14. September 2010 Beschwerde an das Verwaltungsgericht des Kantons Graubünden. Dieses wies die Beschwerde am 30. November 2010 ab.
D. Gegen diesen Entscheid hat X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid und die Baubewilligung der Gemeinde Val Müstair vom 11./13. August 2010 seien aufzuheben und die Baubewilligung zu verweigern. Eventualiter sei die Sache an die Gemeinde Val Müstair zu neuem Entscheid zurückzuweisen. In verfahrensrechtlicher Hinsicht beantragt der Beschwerdeführer, der Beschwerde sei die aufschiebende Wirkung zu gewähren und es sei ein Augenschein durchzuführen.
E. Das Verwaltungsgericht beantragt Abweisung der Beschwerde, soweit darauf einzutreten sei. AY._ und BY._ sowie die Gemeinde Val Müstair schliessen auf Beschwerdeabweisung.
In seiner Replik vom 10. Mai 2011 weist der Beschwerdeführer darauf hin, dass der architektonische Stil des Münstertals vom Tiroler Bauernhausstil geprägt sei und sich daher von demjenigen des Engadins unterscheide.
F. Mit Verfügung vom 12. April 2011 wurde das Gesuch um aufschiebende Wirkung abgewiesen.

Erwägungen:
1. Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts betreffend eine Baubewilligung steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht offen (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG). Der Beschwerdeführer ist als Eigentümer der an das Baugrundstück angrenzenden Parzelle Nr. 2163 durch den angefochtenen Entscheid besonders berührt und daher zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Auf die Beschwerde ist somit grundsätzlich einzutreten.
Die Verletzung von Grundrechten - einschliesslich die willkürliche Anwendung von kantonalem und kommunalem Recht - wird vom Bundesgericht nicht von Amtes wegen geprüft, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und rechtsgenügend begründet worden ist (Art. 106 Abs. 2 BGG).
Da der Sachverhalt aufgrund der Akten (Baugesuch mit -plänen, Fotodokumentation) genügend erstellt ist, kann auf einen Augenschein verzichtet werden. Ohnehin ist das Bundesgericht an den von der Vorinstanz festgestellten Sachverhalt gebunden, soweit dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht (Art. 105 und Art. 97 Abs. 1 BGG).
2. Der Beschwerdeführer macht zunächst geltend, das Bauvorhaben hätte nicht bewilligt werden dürfen, weil es in mehreren Punkten den Gestaltungsrichtlinien der ehemaligen Gemeinde Lü widerspreche. Diese seien nicht nur in der Dorfzone verbindlich, sondern seien auch in der Wohnzone "möglichst sinngemäss" zu beachten. Es sei daher willkürlich, wenn das Verwaltungsgericht diesen Richtlinien nur beschränkte rechtliche Wirkung zugesprochen habe (E. 5d S. 16 oben des angefochtenen Entscheids).
2.1 Es ist unstreitig, dass das Bauvorhaben nicht in allen Punkten den Gestaltungsrichtlinien entspricht (vgl. im einzelnen Beschwerdeschrift Ziff. 5 S. 6). Diese Richtlinien wurden zu einem nicht mehr bestimmbaren Zeitpunkt beschlossen; nach Angaben der Gemeinde Val Müstair dürften sie weit älter als das Bau- und Planungsgesetz der Gemeinde Lü vom 25. Januar 1995 (BauG/Lü) sein. Im Ingress der Gestaltungsrichtlinien heisst es:
"Für Neubauten in der Dorfzone sind diese Richtlinien verbindlich. Für Um- und Neubauten ausserhalb der Dorfzone sind sie möglichst sinngemäss anzuwenden".
Das BauG/Lü verweist in mehreren Artikeln auf die Gestaltungsrichtlinien:
"Art. 52 Gestaltungsrichtlinien
1. Die Gestaltungsrichtlinien sind ein Hilfsmittel des Bau- und Planungsgesetzes der Gemeinde Lü.
2. Der Bauwillige hat die Baugestaltungsrichtlinien bereits bei der Projektierung zu beachten.
3. Bauvorhaben, welche im Widerspruch zu den Gestaltungsrichtlinien stehen, können vom Gemeindevorstand zurückgewiesen werden.
Art. 53 Gestaltung und Einordnung
1. Der derzeitige Charakter des Dorfes soll erhalten bleiben. Bauvorhaben, Terrainveränderungen, Lagerplätze, Sand- und Kiesgruben, Reklameanlagen und Antennen, welche das Bild der baulichen Umgebung oder das Strassen-, Orts- und Landschaftsbild beeinträchtigen, sind nicht zulässig. Neubauten und Umbauten sind architektonisch gut und einfach zu gestalten. Dies gilt insbesondere auch hinsichtlich der Lage, Proportionen, Farben und des Materials. Besondere Rücksicht auf die bestehende Überbauung ist im Bereich und in der Nähe der Dorfzone geboten.
2. Erfüllt das Bauvorhaben bzw. einzelne Gebäudeteile oder Teile der Umgebung die erforderlichen Anforderungen nicht, können angemessene Verbesserungen verlangt werden.
3. Die Gestaltungsrichtlinien sind zu beachten.
Art. 54 Dachvorschriften
1. Die Form der Dachgestaltung muss sich harmonisch in das Bild der Nachbarbauten bzw. der Umgebung einfügen. Die Dachneigung bei Hauptbauten soll zwischen 35 und 70° betragen.
2. Als Bedachungsmaterial sind Ziegel, flache Faserzementplatten, gefälztes Blech (Kupferblech oder Eisenblech gestrichen) und Schiefer zu verwenden.
[...]
5. Massgebend sind die Gestaltungsrichtlinien."
2.2 Die Gemeinde Val Müstair und die privaten Beschwerdegegner weisen darauf hin, dass die Gestaltungsrichtlinien einzig für Neubauten in der Dorfzone verbindlich und in der Wohnzone nur möglichst sinngemäss anzuwenden seien; darin liege eine deutliche Relativierung. Zudem dienten sie gemäss Art. 52 Abs. 1 BauG/Lü lediglich als Hilfsmittel. Ihnen komme somit, wie das Verwaltungsgericht richtig festgestellt habe, nur eine stark eingeschränkte rechtliche Bedeutung zu. Demgemäss bestimme Art. 52 Abs. 3 BauG/Lü, dass Bauvorhaben, welche zu den Gestaltungsrichtlinien in Widerspruch stehen, vom Gemeindevorstand zurückgewiesen werden können, nicht aber zurückgewiesen werden müssen. Auch aus dem letzten Abschnitt der Gestaltungsrichtlinien gehe unmissverständlich hervor, dass die Richtlinien nicht im Sinne von starren Regeln zu handhaben seien, sondern dass davon, wenn die Gesamtgestaltung stimme, auch Abweichungen möglich seien.
2.3 Die Gestaltungsrichtlinien enden mit einer "Schlussbemerkung zum künftigen Planungsvorgehen". Deren letzter Absatz lautet:
"Selbstverständlich ist ein Dorf wie Lü-Lüsei ein lebendiges Gemeinwesen, das nicht gedenkt, sich in ein Bau-Museum zu verwandeln. Der Gemeinderat und die Baukommission werden deshalb auch in Zukunft neue Materialien, Produkte und Architekturentwürfe auf ihre Wirkung hin prüfen und von Fall zu Fall entscheiden, ob die vorgeschlagene Lösung in den Dorfcharakter passt oder nicht. Die obgenannten Behörden behalten sich auch vor, diese Gestaltungsrichtlinien neuen Situationen anzupassen und neue Erkenntnisse einzubauen. Wichtiger als alle Verbote, Vorschriften und Richtlinien ist der möglichst frühzeitige Kontakt zwischen einem Bauinteressenten und den zuständigen Gemeindeinstanzen."
Diese Passage wie auch die Bezeichnung der Richtlinien als blosses "Hilfsmittel" in Art. 52 Abs. 1 BG und die "Kann"-Formulierung in Art. 52 Abs. 3 BG sprechen für die Auffassung der Gemeinde und des Verwaltungsgerichts, wonach den Gestaltungsrichtlinien nur beschränkte rechtliche Bedeutung zukommt, und der Gemeindevorstand die Baubewilligung trotz Nichteinhaltung aller Richtlinien bewilligen kann, wenn das konkrete Bauvorhaben sich gut in die Umgebung einordnet. Dies gilt erst recht in der Wohnzone, auf welche die Gestaltungsrichtlinien nur möglichst sinngemäss anwendbar sind. Auch Art. 53 Abs. 1 Satz 4 BauG/Lü verlangt nur "im Bereich und in der Nähe der Dorfzone" eine besondere Rücksicht auf die bestehende Überbauung. Die Rechtsauffassung der Vorinstanzen kann daher nicht als willkürlich erachtet werden. Insofern kann offen bleiben, ob die vom Beschwerdeführer favorisierte strikte Anwendung der Gestaltungsrichtlinien (auch in der Wohnzone) überhaupt mit der Eigentumsgarantie (i.V.m. dem Verhältnismässigkeits- und dem Legalitätsprinzip) sowie mit Art. 22 Abs. 3 und Art. 73 des kantonalen Raumplanungsgesetzes vom 6. Dezember 2004 (KRG) vereinbar wäre.
3. Der Beschwerdeführer macht weiter geltend, der Gemeindevorstand und das Verwaltungsgericht hätten willkürlich die nach Art. 73 Abs. 1 KRG gebotene "gute Gesamtwirkung" bejaht. Nach dieser Bestimmung werde eine positiv gute Gestaltung zur Sicherstellung einer mehr als befriedigenden Gesamtwirkung verlangt, weshalb ein strenger Massstab anzulegen sei.
Beim Bauprojekt handle es sich um eine moderne Baute mit urbanem Charakter, die nicht in ein Bauerndorf wie Lü passe, sondern einen stark störenden Fremdkörper darstelle. Der Neubau in Sichtbeton habe die Form eines Turms und unterscheide sich in seinen Proportionen, seiner Form und seinen Materialien deutlich von den übrigen Bauten. Sie hebe sich von der Umgebung negativ und störend ab. Die für die Gemeinde Lü unübliche Volumetrie und Proportionen des Gebäudes würden durch den im Verhältnis zur Fassade viel zu schwer ausladenden Balkon noch verstärkt. Die von Art. 53 BauG/Lü verlangte "besondere Rücksicht auf die bestehende Überbauung" sei klar unterlassen worden.
Auch die von Art. 54 BauG/Lü verlangte harmonische Einfügung der Dachgestaltung fehle offensichtlich: Das Dorf Lü sei von Satteldächern mit einem First in der Mitte und augenscheinlichen Vordächern geprägt. Diese Harmonie würde durch die Neubaute mit ihrem ungleichmässigen Satteldach, ihrem schräggestellten First, ohne Dachvorsprung und ohne Dachrandabschluss, wesentlich gestört.
3.1 Im Baubewilligungsverfahren zog die Gemeinde als Bauberatung die Stauffer & Studach AG, Chur, bei. Gestützt auf deren Anmerkungen wurde das Vorhaben in verschiedenen Punkten überarbeitet (Dach- und Fassadengestaltung, Gebäudehülle).
Gestützt auf die Feststellungen der Bauberatung ging der Gemeindevorstand von Val Mustair in der Baubewilligung davon aus, dass der geplante Baukörper ausgewogene Proportionen aufweise, sich optimal ins gewachsene Terrain einordne und die räumliche Situation auf gute Art und Weise ergänze. Es gelinge der Bauherrschaft resp. der Architektin, mit der zeitgenössischen Materialisierung und modernen Fassadengliederung Bezüge zur historischen Bebauung herzustellen und damit auch in dieser Hinsicht eine qualitätsvolle Einordnung zu gewährleisten. Die Dachgestaltung sei überarbeitet worden; die Einordnung des Neubaus in die Umgebung habe sich auf Grund der Beruhigung der Volumetrie und der veränderten Firstrichtung weiter verbessert. Die Einfügung in die Umgebung sei somit gewährleistet.
3.2 Das Verwaltungsgericht erinnerte im angefochtenen Entscheid an den einer Gemeinde in Bausachen generell zustehenden weiten Beurteilungs- und Ermessenspielraum. Es ging davon aus, der gemeindliche Schluss, das Bauvorhaben entspreche den gestalterischen Vorgaben, u.a. hinsichtlich Fassadengestaltung und Gliederung, Proportionen, der verlangten guten Einfügung und Einordnung in die Umgebung und der Materialisierung, sachlich vertretbar sei. Der Beschwerdeführer bringe nichts vor, was die gemeindliche Einschätzung als ermessensmissbräuchlich oder rechtswidrig erscheinen lasse (E. 5d S. 16 des angefochtene Entscheids).
Dies gelte auch für den Einwand der ortsunüblichen Dachgestaltung. Auch wenn die nun vorgesehene Dachgestaltung als Ausdruck einer modernen und zeitgemässen Architektursprache gewöhnungsbedürftig sein möge, lasse sich der gemeindliche Entscheid, solches innerhalb der Wohnzone im fraglichen Quartierplangebiet zuzulassen, durchaus vertreten (E. 5e S. 16 f. des angefochtene Entscheids).
3.3 Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Das Bundesgericht weicht vom Entscheid der kantonalen Instanz nur ab, wenn dieser offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwider läuft (<ref-ruling> E. 1.3 S. 4 f. mit Hinweisen).
Das Bauvorhaben schöpft die vom neuen Baugesetz Val Müstair zugelassene maximale Gebäudehöhe (8.5 m) mit 8.02 m nicht voll aus und kann damit kaum als "Turm" bezeichnet werden. Die (im Vergleich zur Nordostfassade) relativ hohe und schmale Südwestfassade ist aufgrund des Terrainverlaufs vorgegeben (die Baute steht an einem steilen Hang). Der trapezförmige Grundriss ist zwar ungewöhnlich; ansonsten handelt es sich jedoch um einen einfachen, geschlossenen, einheitlich gestalteten Baukörper, der insoweit den Vorgaben der Gestaltungsrichtlinien entspricht. Die Fassade weist relativ wenige, quadratische bzw. viereckige Fenster auf; die Fensterlaibungen sind konisch angelegt, womit die Architektin der Ortstradition Rechnung tragen wollte (vgl. Baubeschreibung vom 23. März 2010). Die Einschätzung der Gemeinde, die Baute ordne sich von ihren Proportionen und ihrer Form in die Umgebung ein, kann keinesfalls als willkürlich bezeichnet werden.
Die Verwendung von Sichtbeton für die Fassade stellt eine Abweichung von den traditionellen Materialien (Putz und Holz) dar. In der Baubeschreibung der Architektin heisst es dazu, es werde ein neues Material Dämmbeton verwendet, durch dessen Struktur die Oberfläche eine schöne, lebendige Patina erhalte. Es erscheint nicht von vornherein ausgeschlossen, dass eine solche - einheitliche und schlicht gestaltete - Oberfläche sich in das Ortsbild einfügen kann. Zu beachten ist zudem, dass sich das Projekt nicht in unmittelbarer Nähe zur Dorfzone befindet, sondern isoliert, auf einer Wiese, am Ende der Wohnzone und im Anschluss an die Landwirtschaftszone steht. Jedenfalls in dieser Situation kann die Zulassung einer Sichtbeton-Fassade nicht als willkürlich eingestuft werden.
Gleiches gilt für die Dachgestaltung. Das Material (Blech) erfüllt die Vorgaben von Art. 54 Abs. 2 BauG/Lü und der Gestaltungsrichtlinien. Die Dachform ist zwar ungewöhnlich; sie weist aber Giebel und eine Dachneigung von 35° auf und entspricht insoweit den Vorgaben von Art. 54 Abs. 1 BauG/Lü. Angesichts der Lage der Baute (ausserhalb des historischen Dorfkerns) ist es jedenfalls nicht willkürlich, eine solche moderne Variation des Satteldachs zuzulassen.
Wie sich aus den Materialien ergibt, bezweckt auch die Ästhetikklausel von Art. 73 KRG nicht eine "Anbiederung an das Alte", sondern eine "gute Gesamtwirkung"; damit soll die Basis für die Erhaltung und Förderung "guter Architektur" geschaffen werden, welche u.a. auch neue Formen in alten Strukturen ermöglicht. Wie das Bundesgericht im Urteil 1A.11/2007 vom 16. Mai 2007 E. 4.5 (betreffend eine Wellness-Anlage in Dorfkern von Samedan) festgehalten hat, spricht daher die Tatsache, dass es sich um einen modernen Neubau handelt, nicht per se gegen dessen Einordnung in einen historischen Ortskern. Dies gilt erst recht, wenn es sich - wie vorliegend - um einen Neubau in der Wohnzone am Siedlungsrand handelt. Die Frage, ob eine "gute Gesamtwirkung" erzielt wird, ist im Einzelfall anhand der konkreten Verhältnisse zu prüfen, wobei der Gemeinde als Baubehörde ein Beurteilungsspielraum zusteht. Im vorliegenden Fall wurde die "gute Gesamtwirkung" von der Gemeinde bejaht, gestützt auf die Feststellungen der Bauberatung. Diese Beurteilung lässt nach dem oben Gesagten keine Willkür erkennen.
4. Soweit sich der Beschwerdeführer auf das Inventar der schützenswerten Ortsbilder der Schweiz (ISOS) beruft, ergibt sich nichts anderes.
Im Inventarblatt für die ehemaligen Gemeinde Lü werden die räumlichen und architekturhistorischen Qualitäten des Ortsbilds als "bescheiden" qualifiziert; Lü wurde denn auch nicht in das Verzeichnis der schützenswerten Ortsbilder von nationaler Bedeutung aufgenommen (Anh. 1 der Verordnung vom 9. September 1981 über das Bundesinventar der schützenswerten Ortsbilder der Schweiz [VISOS, SR 451.12]).
Im Inventarblatt wird vor allem die Erhaltung der Wiesumgebung verlangt, um den typischen Charakter der alten bergbäuerlich geprägten Siedlung zu erhalten. Die Frage, ob das Gebiet "Pra dals Fops" überbaut oder freigehalten werden soll, ist grundsätzlich nicht im Baubewilligungsverfahren, sondern im Zonenplanverfahren zu prüfen. Sowohl nach dem geltenden Zonenplan der Gemeinde Lü als auch nach dem in Vorprüfung befindlichen neuen Zonenplan "Fuldera/Lü/Lüsai" ist die Bauparzelle der Wohnzone zugeteilt. Der Beschwerdeführer hat die Zugehörigkeit des Gebiets zur Bauzone nicht in Frage gestellt.
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 und 68 BGG). Die Gemeinde Val Mustair obsiegt in ihrem amtlichen Wirkungskreis und hat daher keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat AY._ und BY._ für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Gemeinde Val Müstair und dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 17. Mai 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Fonjallaz Gerber