Sachverhalt:
A. X._ bewohnt die in der Wohnzone gelegene Liegenschaft Sandgasse 39 in Rüti bei Büren (Parzelle Nr. 585).
Seit anfangs 2009 betreibt er dort den Hundebetreuungsdienst "Kusi's Hundeplausch". Neben zwei eigenen Hunden betreut er im Wohnhaus und im Freien bis zu sieben fremde Hunde. Für Spezialfälle (ängstliche, aggressive oder sehr dominante Hunde) bietet er eine Rudeltherapie an, bei der die Tiere bis zu sechs Wochen im Rudel aufgenommen und von diesem sozialisiert werden.
B. Am 21. September 2010 veranlasste die Einwohnergemeinde Rüti bei Büren für das Vorhaben "Kusi's Hundeplausch - Hundetraining/-ausbildung" eine Baupublikation im Anzeiger Amt Büren. Gegen das Vorhaben erhob unter anderem Y._ Einsprache (Eigentümer der Nachbarparzelle Kat.-Nr. 547).
Mit Verfügung vom 29. November 2010 erteilte die Gemeinde den Bauabschlag, verfügte ein Benützungsverbot und ordnete an, die "Hundepension Kusi's Hundeplausch" sei innert sechs Monaten ab Rechtskraft der Verfügung an einen anderen Standort ausserhalb der Zonen mit Wohnnutzung zu verlegen und zu betreiben.
C. Dagegen erhob X._ am 28. Dezember 2010 Beschwerde bei der Bau-, Verkehrs- und Energiedirektion des Kantons Bern (BVE). Diese hiess das Rechtsmittel am 5. Mai 2011 teilweise gut und hob den Bauabschlag bzw. das Baubewilligungsverfahren auf, weil der Beschwerdeführer nie ein Baugesuch eingereicht habe. Allerdings sei die umstrittene Hundehaltung in der Wohnzone zonenwidrig; eine Ausnahmebewilligung könne nicht erteilt werden. Die BVE verfügte daher ein Benützungsverbot für die gewerbsmässige Hundehaltung sowie die hobbymässige Hundehaltung von mehr als drei Hunden auf Parzelle Nr. 585 an der Sandgasse 39; dieses sei innert 6 Monaten nach Rechtskraft des Entscheides umzusetzen.
D. Dagegen erhob X._ am 1. Juni 2011 Beschwerde an das Verwaltungsgericht des Kantons Bern. Er beantragte, es sei festzustellen, dass kein baubewilligungspflichtiger Sachverhalt vorliege und die Tierhaltung gemäss Konzept "Kusi's Hundeplausch" mit Haltung von maximal neun Hunden in der Liegenschaft Sandgasse 39 zonenkonform sei. Eventuell sei ihm eine entsprechende Bewilligung zu erteilen. Subeventuell sei die angesetzte Frist zur Reduktion der Hundehaltung auf maximal drei Tiere zu verlängern.
Am 28. Oktober 2011 wies das Verwaltungsgericht die Beschwerde ab, soweit es darauf eintrat.
E. Gegen den verwaltungsgerichtlichen Entscheid hat X._ am 28. November 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Sache sei zur Neubeurteilung an das Verwaltungsgericht, eventualiter an die BVE, zurückzuweisen. Überdies beantragt er die Gewährung der aufschiebenden Wirkung.
F. Y._ und das Verwaltungsgericht schliessen auf Abweisung der Beschwerde. Die BVE und das Bundesamt für Raumentwicklung (ARE) haben auf eine Vernehmlassung verzichtet. Das Bundesamt für Umwelt (BAFU) kommt in seiner Vernehmlassung zum Ergebnis, dass der angefochtene Entscheid konform mit der Umweltschutzgesetzgebung des Bundes sei.
G. In seiner Replik vom 18. April 2012 hält der Beschwerdeführer an seinen Anträgen fest.
Erwägungen:
1. Da alle Sachurteilsvoraussetzungen vorliegen, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten einzutreten.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht kann insbesondere die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes von wegen an (Art. 106 Abs. 1 BGG). Die Verletzung von Grundrechten - einschliesslich die willkürliche Anwendung von kantonalem bzw. kommunalem Recht - prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (Art. 106 Abs. 2 BGG).
2. Streitig ist die Zonenkonformität der vom Beschwerdeführer betriebenen Hundehaltung in der Wohnzone.
2.1 Gemäss Art. 22 Abs. 2 lit. a des Raumplanungsgesetzes (RPG, SR 700) müssen Bauten und Anlagen dem Zweck der Nutzungszone entsprechen. Massgeblich für die Beurteilung der Zonenkonformität sind die für den jeweiligen Zonentyp geltenden (kantonalen oder kommunalen) Vorschriften.
2.2 Art. 42 Abs. 1 des Baureglements der Einwohnergemeinde Rüti bei Büren vom 2. Dezember 2004 (GBR) bestimmt, dass die Wohnzone der Wohnnutzung vorbehalten ist; gewerbliche Nutzungen im Umfang der Bestimmung von Art. 90 der Bauverordnung vom 6. März 1985 (BauV) sind zugelassen. Nach Art. 90 Abs. 2 BauV ist in der Wohnzone namentlich die gewerbsmässige Tierhaltung untersagt; ausgenommen sind derartige Vorhaben in ländlichen Verhältnissen, sofern sie für die konventionelle bäuerliche Bewirtschaftung benötigt werden und die Wohnnutzung nicht erheblich beeinträchtigen. Gemäss Art. 24 Abs. 1 des Berner Baugesetzes vom 9. Juni 1985 (BauG) dürfen Bauten und Anlagen nicht zu Einwirkungen auf die Nachbarschaft führen, die der Zonenordnung widersprechen.
2.3 Das nicht gewerbsmässige Halten weniger Haustiere wird in der Wohnzone i.d.R. als zonenkonform erachtet (ALDO ZAUGG/PETER LUDWIG, Kommentar zum bernischen BauG, Band I 3. Aufl., 2007, Art. 24 N. 31 Bst. c). Nach der Praxis der Berner Behörden wird die Hundehaltung von bis zu drei ausgewachsenen Tieren und allfälligen Welpen (solange diese beim Muttertier bleiben müssen) in reinen Wohnzonen (Empfindlichkeitsstufe II) als zonenkonform eingestuft (sog. "Berner Praxis"; vgl. angefochtenen Entscheid E. 3.2 mit Hinweisen). In den von der Justiz-, Gemeinde- und Kirchendirektion und der BVE aufgestellten Richtwerten für die Tierhaltung in der Wohnzone (Bernische Systematische Information der Gemeinden [BSlG] Nr. 7/725.1/1.1 vom 6. November 1995) heisst es, dass "höchstens drei bis vier Hunde" in einer Wohnzone zulässig seien.
Im Urteil 1A.276/2000 vom 13. August 2001 E. 4c (in: URP 2001 S. 1101; RDAF 2002 I S. 377) führte das Bundesgericht aus, das Bundesamt für Umwelt, Wald und Landschaft habe die "Berner Praxis" aufgrund seiner eigenen Erfahrung als zutreffend erachtet; für das Bundesgericht bestehe kein Grund, an dieser Beurteilung durch die zuständige Fachbehörde des Bundes zu zweifeln.
3. Die BVE ging von einer gewerbsmässigen Tierhaltung gemäss Art. 2 Abs. 3 lit. a der Tierschutzverordnung vom 23. April 2008 (TschV; SR 455.1) aus. Danach liegt eine gewerbsmässige Tierhaltung vor, wenn Tiere mit der Absicht gehalten, betreut oder gezüchtet werden, für sich oder für Dritte ein Einkommen oder einen Gewinn zu erzielen oder die eigenen Unkosten oder die Unkosten Dritter zu decken; die Gegenleistung muss dabei nicht in Geld erfolgen. Auch wenn der Beschwerdeführer seine Unkosten zurzeit nur teilweise decken könne, habe er doch in seinem Konzept festgehalten, dass es sein Ziel sei, nach der Ausbildung zum Tierpsychologen gute Einkünfte zu erzielen und den Hundeplausch gewerblich zu betreiben. Schon heute sei die Deckung der Unkosten beabsichtigt, weshalb die Gewerbsmässigkeit zu bejahen sei. Da der Hundebetreuungsdienst nicht für die konventionelle bäuerliche Bewirtschaftung benötigt werde, sei er gemäss Art. 90 Abs. 2 BauV in der Wohnzone ausgeschlossen (E. 5d des Entscheids der BVE).
Weiter erwog die BVE, dass nach der Berner Praxis auch die hobbymässige Hundehaltung in der reinen Wohnzone auf höchstens drei bis vier Hunde beschränkt sei. Da der Beschwerdeführer neben seinen eigenen 2 Hunden maximal 6-9 fremde Hunde betreue, überschreite die Hundehaltung die maximal zulässige Anzahl von Hunden deutlich und sei damit zonenwidrig (E. 5e des Entscheids der BVE).
Das Verwaltungsgericht teilte diese Auffassung. Dabei liess es ausdrücklich offen, ob es sich um eine gewerbsmässige oder hobbymässige Hundehaltung handle, weil das Vorhaben so oder so nicht zonenkonform sei (E. 3.3 des angefochtenen Entscheids). Es könne auch keine Ausnahme nach Art. 26 BauG bewilligt werden (E. 4 des angefochtenen Entscheids).
4. Der Beschwerdeführer macht dagegen geltend, Zweck der "Berner Praxis" sei es, die Lärmimmissionen auf ein zulässiges Mass zu reduzieren. Sie sei auf die Haltung von Hunden in Zwingern im Freien zugeschnitten, die nicht unter der Kontrolle des Hundehalters stünden und damit unkontrolliert bellen könnten. Vorliegend würden die Hunde jedoch in einem Rudel leben, sich mehrheitlich im Haus aufhalten und dauernd unter seiner Aufsicht stehen, weshalb sie keinen störenden Lärm verursachten. Diesen Besonderheiten des Einzelfalls müsse bei der Anwendung der Zonenvorschriften Rechnung getragen werden. Die Vorinstanzen hätten stattdessen schematisch die "Berner Praxis" angewendet und hätten damit die Zonenkonformität der Hundehaltung in der Wohnzone falsch beurteilt; dies verletze Art. 22 RPG.
Verletzt seien auch die Art. 11 und 12 des Umweltschutzgesetzes (USG; SR 814.01) sowie Art. 24 BauG, die eine konkrete Beurteilung der von der Hundehaltung des Beschwerdeführers ausgehenden Lärmimmission verlangten. Die Zulässigkeit der von einer bestimmten Nutzung ausgehenden Immissionen müsse nach den Bestimmungen des USG im Einzelfall beurteilt werden.
Schliesslich hätten die Vorinstanzen den Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) verletzt. Der Beschwerdeführer habe ausführlich dargelegt und mit einem Fachbericht von Frau Z._ vom 7. Mai 2011 bestätigt, dass seine Art der Hundehaltung zu keinen (übermässigen) Auswirkungen auf die Nachbarschaft führe. Neben der Einreichung einer ausführlichen Dokumentation (inkl. Videosequenzen) habe er die Durchführung eines Augenscheins sowie die Einholung eines Fachberichts beantragt. Die Vorinstanzen hätten unter Verweis auf die "Berner Praxis" alle Beweisanträge abgelehnt und keine Beurteilung der tatsächlichen Verhältnisse vorgenommen.
Der angefochtene Entscheid sei daher aufzuheben und die Sache an die Vorinstanz zurückzuweisen zur Abklärung des konkreten Sachverhalts.
5. 5.1 Die Auslegung von kantonalen und kommunalen Zonenvorschriften überprüft das Bundesgericht nicht frei, sondern grundsätzlich (sofern nicht die Verletzung anderer Grundrechte gerügt wird) nur unter dem Blickwinkel des Willkürverbots (Art. 9 BV). Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Das Bundesgericht weicht vom Entscheid der kantonalen Instanz nur ab, wenn dieser offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (BGE 136 I 316 E. 2.2.2 S. 318 f. mit Hinweisen).
5.1.1 Wie die Vorinstanz zutreffend ausgeführt hat, sind Zonenvorschriften grundsätzlich generell und abstrakt formuliert; welche Arten von Nutzungen nach ihrer Immissionsstärke in einer bestimmten Zone zugelassen bzw. verboten sind, wird in typisierten, der allgemeinen Erfahrung entsprechenden Umschreibungen ausgesagt. Die Beurteilung der Zonenkonformität erfolgt daher abstrakt, losgelöst von den konkreten Einwirkungen in der Nachbarschaft. Entscheidend ist, ob mit der betreffenden Nutzung typischerweise Belästigungen verbunden sind, die über das hinausgehen, was normalerweise mit dem Wohnen verbunden ist (Urteil 1P.160/2004 des Bundesgerichts vom 27. Januar 2005 E. 4.4, in: BVR 2005 S. 443 ff.; BERNHARD WALDMANN/PETER HÄNNI, Handkommentar Raumplanungsgesetz, Bern 2006, N. 26 zu Art. 22 S. 533 f.). Erst in einer zweiten Beurteilungsstufe ist - gestützt auf das USG und seine Ausführungsbestimmungen - zu prüfen, ob der Betrieb auch hinsichtlich der konkreten, für die Umgebung resultierenden Immissionen mit der Wohnnutzung vereinbar ist (WALDMANN/HÄNNI, a.a.O., N. 27 zu Art. 22 RPG S. 534).
Diese Betrachtungsweise entspricht dem Planungsgrundsatz von Art. 3 RPG, wonach Siedlungen nach den Bedürfnissen der Bevölkerung zu gestalten sind (Abs. 3) und Wohngebiete vor schädlichen oder lästigen Einwirkungen verschont werden (lit. b). Ziel der Zonenfestlegung ist es, Nutzungskonflikte, die Gegenstand von umweltrechtlichen Massnahmen werden könnten, schon gar nicht aufkommen zu lassen (BGE 127 I 103 E. 7c S. 110; ROBERT WOLF, Kommentar USG, Art. 25 N. 7), d.h. neue Bauten und Betriebe, die mit dem Charakter der Wohnzone unvereinbar sind, frühzeitig zu verhindern, auch wenn die Lärmemissionen, zu denen sie führen, die bundesrechtlichen Grenzwerte nicht überschreiten (WALDMANN/HÄNNI, N. 42 zu Art. 3 RPG, S. 94/95).
Für eine abstrakte Betrachtungsweise spricht ferner, dass die Baubewilligung grundsätzlich grundstücksbezogen und auf unbestimmte Dauer angelegt ist. Sie gilt somit unabhängig von der Person des Eigentümers und dessen besonderen Eigenschaften und Fähigkeiten.
5.1.2 Die Einschätzung der kommunalen und kantonalen Behörden, wonach die Haltung von bis zu 9 Hunden typischerweise zu Immissionen (insbesondere Bellen) führt, die über das hinausgehen, was normalerweise mit dem Wohnen verbunden ist, ist nicht zu beanstanden. Auch wenn die Hunde nicht ständig im Freien (in einem Zwinger) sondern im Haus gehalten werden, müssen sie täglich im Freien ausgeführt werden bzw. genügend Auslauf haben (vgl. Art. 71 Abs. 1 und 2 TSchV). So verbringen auch die vom Beschwerdeführer gehaltenen Hunde nach den insoweit unbestrittenen Feststellungen des Verwaltungsgerichts (E. 2) bis zu viereinhalb Stunden im Freien. Nach dem vom Beschwerdeführer eingereichten Fachbericht von Z._ umfasst der Aufenthaltsbereich der Hunde das gesamte Erdgeschoss des Hauses und den durch die i.d.R. offenstehenden Wohnzimmertüre frei zugänglichen eingezäunten Garten.
Handelt es sich um eine gewerbliche Hundehaltung (wofür viel spricht), so ist diese in der reinen Wohnzone gemäss Art. 90 Abs. 2 BauV von vornherein nicht bewilligungsfähig. Handelt es sich dagegen zurzeit noch um eine hobbymässige Hundehaltung (weil der Beschwerdeführer während seines Studiums auf die Erhebung kostendeckender Entgelte verzichtet), so hat sie doch den gleichen Umfang, die gleiche Intensität und die gleichen Auswirkungen auf die Umgebung wie eine gewerbliche Hundehaltung. Unter diesen Umständen ist es nicht willkürlich, sie nicht mehr als zur Wohnnutzung gehörend zu qualifizieren.
5.2 Die auf das kommunale und kantonale Raumplanungsrecht gestützte Vorgehensweise der Vorinstanzen verletzt auch nicht Bundesumweltrecht.
Zwar hat das kantonale Recht mit Inkrafttreten der Bundesgesetzgebung über den Umweltschutz seine selbstständige Bedeutung betreffend den direkten Schutz vor Immissionen verloren, soweit sich sein materieller Gehalt mit dem Bundesrecht deckt oder weniger weit geht als dieses; es hat sie dort behalten, wo es die bundesrechtlichen Normen ergänzt oder - soweit erlaubt - verschärft (vgl. Art. 65 USG). Indessen haben (städtebauliche) Nutzungsvorschriften des kantonalen und kommunalen Rechts weiterhin selbstständigen Gehalt, soweit sie die Frage regeln, ob eine Baute oder Anlage nach den raumplanerischen Grundlagen am vorgesehenen Ort erstellt und ihrer Zweckbestimmung übergeben werden darf. Dies gilt auch, wenn die für den Charakter eines Quartiers wesentlichen Nutzungsvorschriften mittelbar dem Schutz der Nachbarn vor Übelständen verschiedenster Art dienen (BGE 118 Ia 112 E. 1b S. 115; 118 Ib 590 E. 3a S. 595; Urteil 1A.132/1999 vom 25. Januar 2000 E. 2b/bb, in: ZBl 102/2001 S. 163 mit Hinweisen).
5.3 Schliesslich liegt auch keine Verletzung des rechtlichen Gehörs vor. Ist bei der Beurteilung der Zonenkonformität eine schematische Betrachtungsweise geboten, so sind die konkreten Lärmimmissionen der Hundehaltung "Kusi's Hundeplausch" nicht entscheidrelevant. Die Vorinstanz durfte daher die diesbezüglichen Beweiseingaben des Beschwerdeführers abweisen.
6. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).
Mit dem vorliegenden Entscheid in der Hauptsache wird der Antrag auf Gewährung der aufschiebenden Wirkung gegenstandslos.
Der Beschwerdeführer hat vor Bundesgericht keinen Antrag auf Verlängerung der Wiederherstellungsfrist gestellt. Dies erscheint auch nicht geboten: Die von der BVE gesetzte Frist von 6 Monaten läuft ab Rechtskraft des Entscheides, d.h. erst ab dem Datum des bundesgerichtlichen Urteils (vgl. Urteil 2C_137/2011 vom 30. April 2012 E. 3.3 mit Hinweisen, zur Publikation vorgesehen).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Einwohnergemeinde Rüti bei Büren, der Bau-, Verkehrs- und Energiedirektion und dem Verwaltungsgericht des Kantons Bern, dem Bundesamt für Raumentwicklung sowie dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 25. Juni 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber