Sachverhalt:
Sachverhalt:
A. B._ und C._ (Kläger) mieteten in Bremgarten/AG von A._ (Beklagter) eine Wohnung zu einem Nettomietzins von Fr. 1'680.-- monatlich. Die Mietzinsberechnung basierte auf einem Hypothekarzins von 4 %. Per 1. Juli 2003 hatte die Aargauische Kantonalbank den Hypothekarzinssatz von 3,5 % auf 3,25 % herabgesetzt. Die Kläger berechneten einen Herabsetzungsanspruch von 8,26 %, den sie um 0,5 % auf 7,76 % reduzierten, indem sie in diesem Umfange den vom Beklagten geltend gemachten pauschalen Abzug von 0,5 % für allgemeine Kostensteigerung anerkannten. Der Senkungsanspruch von 7,76 % berechnet auf Fr. 1'680.-- belief sich auf Fr. 130.35.
A. B._ und C._ (Kläger) mieteten in Bremgarten/AG von A._ (Beklagter) eine Wohnung zu einem Nettomietzins von Fr. 1'680.-- monatlich. Die Mietzinsberechnung basierte auf einem Hypothekarzins von 4 %. Per 1. Juli 2003 hatte die Aargauische Kantonalbank den Hypothekarzinssatz von 3,5 % auf 3,25 % herabgesetzt. Die Kläger berechneten einen Herabsetzungsanspruch von 8,26 %, den sie um 0,5 % auf 7,76 % reduzierten, indem sie in diesem Umfange den vom Beklagten geltend gemachten pauschalen Abzug von 0,5 % für allgemeine Kostensteigerung anerkannten. Der Senkungsanspruch von 7,76 % berechnet auf Fr. 1'680.-- belief sich auf Fr. 130.35.
B. Mit Eingabe an den Gerichtspräsidenten von Bremgarten vom 11. September 2003 stellten die Kläger den Antrag:
1. Es sei der monatliche Nettomietzins von Fr. 1'680.-- des Mietobjektes 4.5-Zi-Wohnung, 1. OG links, in Bremgarten, zufolge Missbräuchlichkeit um Fr. 123.15 auf monatlich Fr. 1'556.85, gültig ab 1.7.2003 herabzusetzen.
2. Unter Kosten- und Entschädigungsfolgen zu Lasten des Beklagten."
Mit Entscheid vom 30. Januar 2004 hiess der Gerichtspräsident von Bremgarten das Herabsetzungsbegehren gut und setzte den Nettomietzins per 1. Juli 2003 von Fr. 1'680.-- zufolge Missbräuchlichkeit um Fr. 123.15 auf monatlich Fr. 1'556.85 herab.
Mit Urteil vom 11. Mai 2004 wies das Obergericht des Kantons Aargau eine vom Beklagten dagegen erhobene Beschwerde ab.
Mit Urteil vom 11. Mai 2004 wies das Obergericht des Kantons Aargau eine vom Beklagten dagegen erhobene Beschwerde ab.
C. Mit Berufung vom 9. Juli 2004 beantragt der Beklagte dem Bundesgericht, das Urteil des Obergerichts des Kantons Aargau vom 11. Mai 2004 sei aufzuheben und das Herabsetzungsbegehren der Kläger abzuweisen; eventualiter sei das Urteil des Obergerichtes aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Kläger beantragen, die Berufung sei abzuweisen, soweit darauf einzutreten sei.
Das Obergericht hat auf Gegenbemerkungen zur Berufung verzichtet.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Die Vorinstanz hat erwogen, der Beklagte sei mit dem Beweis der Einrede der Orts- und Quartierüblichkeit des angefochtenen Mietzinses gescheitert. Er sei nicht in der Lage gewesen, mindestens fünf taugliche Vergleichsobjekte für seine Mietliegenschaft in Bremgarten anzugeben. Der Beklagte, der ursprünglich zwölf Vergleichsobjekte genannt habe, habe zu Recht auf die vier in Wohlen gelegenen Objekte verzichtet. Damit sei noch für drei Wohnungen in Zufikon und fünf Objekte in Bremgarten die Tauglichkeit zu prüfen.
Die drei Wohnungen in Zufikon könnten insgesamt nicht als Vergleichsobjekte in Betracht gezogen werden. Selbst wenn man mit dem Beklagten das Gebiet Bremgarten und Zufikon als einen Ort betrachten wollte, lägen die Objekte in Zufikon in einem anderen Quartier als das Mietobjekt der Kläger. Die Vergleichsobjekte seien nicht etwa nur durch eine Strasse oder eine willkürlich gezogene Quartiersgrenze, sondern durch die Reuss und einen weiteren Ortsteil von Bremgarten klar voneinander getrennt. Wenn wie hier die Quartiere verschiedenen Gemeinden zugehörten, sei auch die unterschiedliche Ortsattraktivität (Steuerfuss etc.) von Bedeutung. Das Objekt der Kläger in Bremgarten sei zudem von den gängigen Einkaufsmöglichkeiten meilenweit entfernt. Hingegen seien die Einkaufszentren vom Zufiker Quartier Unterdorf in bequemer Fussdistanz erreichbar.
Auch die drei Vergleichsobjekte im Bereich "Bremgarten Ost" lägen nicht im gleichen Quartier wie das Objekt der Kläger, welches im Bereich "Bremgarten West" liege. Aus diesem Bereich habe der Beklagte aber nur zwei Vergleichsobjekte angeboten, was eindeutig nicht genüge.
Auch die drei Vergleichsobjekte im Bereich "Bremgarten Ost" lägen nicht im gleichen Quartier wie das Objekt der Kläger, welches im Bereich "Bremgarten West" liege. Aus diesem Bereich habe der Beklagte aber nur zwei Vergleichsobjekte angeboten, was eindeutig nicht genüge.
2. Der Kläger rügt, die Vorinstanz habe ihrer Beurteilung der von ihm angebotenen Vergleichsobjekte einen falschen Begriff der orts- oder quartierüblichen Mietzinse zugrunde gelegt. (<ref-law>). Die Vorinstanz habe dem Umstand nicht Rechnung getragen, dass das Bundesgericht seine Praxis gelockert habe, so dass auch Mietobjekte "an einer schlechteren Lage, mit einer kleineren Fläche, einer tieferen Ausstattung, in einem schlechteren Zustand und aus einer älteren Bauperiode als das Ausgangsobjekt" zum Vergleich herangezogen werden könnten. Auf Gemeindegrenzen dürfe nicht absolut abgestellt werden, wo die Siedlungsentwicklung auf sie keine Rücksicht genommen habe und ihre Beachtung letztlich zur künstlichen Trennung von sozusagen Ortsgewachsenem führen würde. Es treffe zwar zu, dass die drei Vergleichsobjekte im Bereich "Bremgarten Ost" nicht im gleichen Quartier lägen wie das Mietobjekt der Kläger. Nach der gelockerten bundesgerichtlichen Rechtsprechung müsse es aber grundsätzlich zulässig sein, auch Mietobjekte aus einem andern Quartier zum Vergleich heranzuziehen.
2. Der Kläger rügt, die Vorinstanz habe ihrer Beurteilung der von ihm angebotenen Vergleichsobjekte einen falschen Begriff der orts- oder quartierüblichen Mietzinse zugrunde gelegt. (<ref-law>). Die Vorinstanz habe dem Umstand nicht Rechnung getragen, dass das Bundesgericht seine Praxis gelockert habe, so dass auch Mietobjekte "an einer schlechteren Lage, mit einer kleineren Fläche, einer tieferen Ausstattung, in einem schlechteren Zustand und aus einer älteren Bauperiode als das Ausgangsobjekt" zum Vergleich herangezogen werden könnten. Auf Gemeindegrenzen dürfe nicht absolut abgestellt werden, wo die Siedlungsentwicklung auf sie keine Rücksicht genommen habe und ihre Beachtung letztlich zur künstlichen Trennung von sozusagen Ortsgewachsenem führen würde. Es treffe zwar zu, dass die drei Vergleichsobjekte im Bereich "Bremgarten Ost" nicht im gleichen Quartier lägen wie das Mietobjekt der Kläger. Nach der gelockerten bundesgerichtlichen Rechtsprechung müsse es aber grundsätzlich zulässig sein, auch Mietobjekte aus einem andern Quartier zum Vergleich heranzuziehen.
3. Ein Mietzins ist in der Regel dann nicht missbräuchlich, wenn er im Rahmen der orts- und quartierüblichen Mietzinse liegt (<ref-law>). Massgebend für die Ermittlung der orts- und quartierüblichen Mietzinse sind Mietobjekte, die nach Lage, Grösse, Zustand, Ausstattung und Bauperiode mit der zu beurteilenden Mietsache vergleichbar sind (<ref-law> [Verordnung über die Miete und Pacht von Wohn- und Geschäftsräumen, SR 221.213.11]).
3.1 Der Vermieter, der sich auf den orts- und quartierüblichen Mietzins beruft, hat den von ihm geltend gemachten Mietzins mit dem Hinweis auf vergleichbare Mietobjekte zu belegen. Dabei verlangt die Rechtsprechung mindestens fünf vergleichbare Wohnungen, welche mit Bezug auf Lage, Grösse, Ausstattung, Zustand sowie Bauperiode im Wesentlichen die gleichen Merkmale des konkret zu beurteilenden Objektes aufweisen. Nur auf diese Weise kann eine Schlussfolgerung gezogen werden, die eine gewisse Sicherheit vermittelt (<ref-ruling> E. 4a S. 319 m.w.H.).
3.2 Die Vorinstanz hat - wie oben dargelegt - die konkreten Gründe angegeben, weshalb die drei vom Beklagten bezeichneten Mietobjekte in Zufikon ausser Betracht fallen. Diese vom Beklagten im Einzelnen nicht angefochtenen Gründe brauchen nicht wiederholt zu werden. Es ist auch nicht nachvollziehbar, wie der Beklagte die von der Vorinstanz verbindlich festgestellte Abtrennung des Mietobjektes der Kläger von den Vergleichsobjekten durch die Reuss und einen Ortsteil von Bremgarten als künstliche Grenze bezeichnen kann.
3.3 In Bezug auf die in Bremgarten gelegenen Vergleichsobjekte hat der Beklagte eingeräumt, dass die drei in "Bremgarten Ost" liegenden Objekte nicht im gleichen Quartier wie die Wohnung der Kläger liegen. Da die Orts- und Quartierüblichkeit grundsätzlich nur beurteilt werden kann, wenn die zu vergleichenden Objekte im gleichen Quartier liegen, fallen auch diese drei in einem anderen Quartier gelegenen Wohnungen ausser Betracht. Ob und unter welchen Voraussetzungen ein Mietobjekt aus einem angrenzenden, aber nach den wesentlichen Kriterien kaum vom Quartier des Ausgangsobjektes unterscheidbaren Quartier ausnahmsweise zum Vergleich herangezogen werden könnte, kann im vorliegenden Fall dahin gestellt bleiben. Der Beklagte vermag nämlich keine Gründe anzugeben, weshalb im vorliegenden Fall eine Ausnahme gerechtfertigt sein könnte.
3.4 Zusammenfassend kann festgehalten werden, dass die Vorinstanz die Vergleichstauglichkeit der in Zufikon und in "Bremgarten Ost" gelegenen Wohnungen zu Recht verneint hat. Die Berufung ist daher abzuweisen.
3.4 Zusammenfassend kann festgehalten werden, dass die Vorinstanz die Vergleichstauglichkeit der in Zufikon und in "Bremgarten Ost" gelegenen Wohnungen zu Recht verneint hat. Die Berufung ist daher abzuweisen.
4. Bei diesem Verfahren wird der Kläger kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und 159 Abs. 2 OG).

Das Bundesgericht erkennt:
Das Bundesgericht erkennt:
1. Die Berufung wird abgewiesen.
1. Die Berufung wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beklagten auferlegt.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beklagten auferlegt.
3. Der Beklagte hat die Kläger für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
3. Der Beklagte hat die Kläger für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, 4. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 26. Oktober 2004
Im Namen der I. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: