Sachverhalt:
A. A.a Am 27. August 2008 leitete A._ (Ehemann), vertreten durch Fürsprecher X._, beim Bezirksgericht Baden ein Scheidungsverfahren gemäss Art. 114 ZGB ein und stellte ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung. Das Bezirksgericht hiess dieses Gesuch mit Entscheid vom 29. Juli 2010 gut und bestellte dem Ehemann Fürsprecher X._ als unentgeltlichen Rechtsbeistand.
A.b Nachdem B._ (Ehefrau) ihre Klageantwort am 13. Oktober 2008 eingereicht hatte, einigten sich die Parteien vor dem Gericht im Scheidungspunkt und es erfolgte der Wechsel zur Scheidung auf gemeinsames Begehren nach Art. 112 ZGB. Das Bezirksgericht führte einen zweiten und dritten Schriftenwechsel durch (Stellungnahmen des Ehemannes vom 23. April 2009 und vom 29. Juli 2009; Stellungnahmen der Ehefrau vom 30. Juni 2009 und 18. November 2009). Am 9. März 2010 fand eine zweite Verhandlung statt.
A.c Nachdem das Scheidungsurteil ergangen war und Fürsprecher X._ eine Kostennote eingereicht hatte, setzte das Bezirksgericht Baden, Gerichtspräsidium 3, die Entschädigung von Fürsprecher X._ als unentgeltlichen Rechtsbeistand mit Verfügung vom 1. November 2010 wie folgt fest:
Grundentschädigung Fr. 3'600.00
Zuschlag 20 % für 2. Rechtsschrift Fr. 720.00
Zuschlag 20 % für 3. Rechtsschrift Fr. 720.00
Zuschlag 20 % für 2. Verhandlung Fr. 720.00
Spesen Fr. 350.00
7.6 % MwSt. Fr. 409.65
Total Fr. 5'799.65
B. Eine von Fürsprecher X._ am 19. November 2010 dagegen erhobene Kostenbeschwerde wies das Obergericht des Kantons Aargau (Inspektionskommission) mit Entscheid vom 13. September 2011 ab und auferlegte Fürsprecher X._ die Kosten des Beschwerdeverfahrens von Fr. 656.--.
C. Dem Bundesgericht beantragt Fürsprecher X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde in Zivilsachen und eventualiter erhobenen subsidiären Verfassungsbeschwerde vom 28. Oktober 2011, es sei der obergerichtliche Entscheid aufzuheben und seine Entschädigung als unentgeltlicher Rechtsbeistand auf Fr. 11'591.10, eventualiter auf Fr. 8'132.40 (jeweils inkl. MwSt.) festzusetzen. Eventualiter sei die Sache zu neuer Beurteilung an das Obergericht zurückzuweisen.
Das Obergericht hat dem Bundesgericht die Vorakten zugestellt und beantragt in seiner Vernehmlassung vom 13. September 2011, die Beschwerde sei abzuweisen.
Erwägungen:
1. 1.1 Angefochten ist ein selbstständig erlassener Entscheid eines oberen Gerichts, das kantonal letztinstanzlich auf Rechtsmittel hin (Art. 75 BGG) über die Entschädigung eines unentgeltlichen Rechtsbeistands im Rahmen eines Scheidungsverfahrens geurteilt hat. Es liegt damit ein unmittelbar mit Zivilrecht in Zusammenhang stehender öffentlich-rechtlicher Endentscheid vor (Art. 72 Abs. 2 lit. b und Art. 90 BGG).
1.2 Der Streitwert des angefochtenen Entscheids erreicht den gesetzlichen Mindestbetrag von Fr. 30'000.-- nicht, jedoch macht der Beschwerdeführer geltend, es stelle sich eine Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 BGG).
Die obergerichtlich bestätigte Entschädigung des Beschwerdeführers als unentgeltlicher Rechtsbeistand stützt sich ausschliesslich auf kantonales Recht (Art. 404 Abs. 1 ZPO; vgl. im Übrigen auch BGE 137 III 185 E. 5 S. 187 ff.). Der Beschwerdeführer rügt vor Bundesgericht eine Verletzung des Willkürverbots in der Anwendung des kantonalen Rechts (BGE 134 III 379 E. 1.2 S. 382 f.). Insoweit entspricht die Kognition des Bundesgerichts bei der Beschwerde in Zivilsachen derjenigen bei der subsidiären Verfassungsbeschwerde (Art. 116 BGG), weshalb von vornherein keine Rechtsfrage von grundsätzlicher Bedeutung vorliegt (vgl. BGE 134 I 184 E. 1.3.3 S. 188).
1.3 Auf die Beschwerde in Zivilsachen ist demnach nicht einzutreten. Die Eingabe des Beschwerdeführers ist im Sinne seines Eventualstandpunktes als subsidiäre Verfassungsbeschwerde zu behandeln (Art. 113 ff. BGG). Zu deren Erhebung ist der Beschwerdeführer, dessen Entschädigung nicht seiner Kostenliste entsprechend festgesetzt wurde, berechtigt (Art. 115 BGG; vgl. zum Ganzen Urteile 5D_175/2008 vom 6. Februar 2009 E. 1, in: Pra 2009 Nr. 114 S. 780 f.; 5D_145/2007 vom 5. Februar 2008 E. 1).
2. 2.1 Mit der subsidiären Verfassungsbeschwerde kann die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). In der Beschwerde muss präzise angegeben werden, welches verfassungsmässige Recht verletzt wurde und substanziiert anhand der Erwägungen des angefochtenen Entscheids dargelegt werden, worin die Verletzung besteht. Das Bundesgericht prüft nur ausdrücklich vorgebrachte, klar und detailliert erhobene sowie, soweit möglich, belegte Rügen. Genügt die Beschwerdeschrift diesen Begründungsanforderungen nicht, ist darauf nicht einzutreten (Art. 117 i.V.m. Art. 106 Abs. 2 BGG; BGE 136 I 332 E. 2.1 S. 334; 134 V 138 E. 2.1 S. 143).
2.2 Die kantonalen Instanzen verfügen bei der Festsetzung der Entschädigung des unentgeltlichen Rechtsbeistands über ein weites Ermessen und das Bundesgericht übt bei der Überprüfung solcher Entscheide Zurückhaltung. Es greift nur ein, wenn die Vorinstanz von dem ihr zustehenden Ermessen einen willkürlichen Gebrauch gemacht, namentlich die einschlägigen kantonalen Bestimmungen willkürlich angewendet hat (BGE 122 I 1 E. 3a S. 2; 118 Ia 133 E. 2b S. 134).
Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist, was der Beschwerdeführer in seiner Beschwerde aufzuzeigen hat (BGE 131 I 217 E. 2.1 S. 219). Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 137 I 1 E. 2.4 S. 5).
3. 3.1 Die kantonalen Instanzen haben sich für die Festsetzung der Entschädigung des Beschwerdeführers auf das Dekret des Kantons Aargau vom 10. November 1987 über die Entschädigung der Anwälte (Anwaltstarif [nachfolgend AnwT]; SAR 291.150) in der Version, die vom 1. Januar 2007 bis 31. Dezember 2010 in Kraft stand, abgestützt. Demnach bemisst sich die Grundentschädigung des unentgeltlichen Rechtsvertreters in vermögensrechtlichen Streitsachen anhand des Streitwerts (§ 3 Abs. 1 lit. a AnwT), der sich nach den gestellten Begehren berechnet (§ 4 Abs. 1 AnwT). In Verfahren hingegen, die das Vermögen der Parteien weder direkt noch indirekt beeinflussen, beträgt die Grundentschädigung je nach Bedeutung und Schwierigkeit des Falles Fr. 1'210.-- bis Fr. 14'740.-- (§ 3 Abs. 1 lit. b AnwT). Güterrechtliche Ansprüche gelten - anders als familienrechtliche Unterhaltsstreitigkeiten - als vermögensrechtliche Streitsache (§ 3 Abs. 1 lit. d AnwT).
Für zusätzliche Rechtsschriften und Verhandlungen erhöht sich die Grundentschädigung um je 5 - 30 % (§ 6 Abs. 3 AnwT).
3.2 Das Obergericht gelangte vorliegend zum Schluss, es liege keine vermögensrechtliche Streitsache vor. Die Ehefrau beantrage zwar in ihrer ersten Stellungnahme im Verfahren der Scheidung auf gemeinsames Begehren vom 30. Juni 2009 (die für die Streitwertberechnung massgebend sei) die güterrechtliche Auseinandersetzung und fordere in der Begründung dieser Eingabe unter dem Titel Güterrecht Fr. 17'700.-- für ausstehende Alimente sowie Fr. 15'000.-- (Rückzahlung von Kindsvermögen, das der Ehemann verwendet haben soll). Auf diese Forderungen könne aber nicht abgestellt werden, "da diese nicht aus Güterrecht geltend gemacht werden" könnten. Auch wenn die Ehefrau den Antrag auf güterrechtliche Auseinandersetzung gestellt habe, seien "aus ihren Rechtsschriften keine Angaben bezüglich einer geltend gemachten Forderung, welche güterrechtlich relevant wäre, zu entnehmen" (Ziff. 3.3.1.3 des obergerichtlichen Entscheids).
Die Grundentschädigung in einer nicht vermögensrechtlichen Streitsache gemäss § 3 Abs. 1 lit. b AnwT betrage für Scheidungen mit durchschnittlichem Aufwand, die keine güterrechtlichen Ansprüche zum Gegenstand hätten, gemäss kantonaler Praxis Fr. 3'600.--.
Schliesslich erachtete das Obergericht auch die drei vom Bezirksgericht gewährten Zuschläge von je 20 % (insgesamt Fr. 2'160.--) für die zweite Verhandlung sowie für die Eingaben vom 23. April 2009 und 29. Juli 2009 als angemessen.
4. 4.1 Der Beschwerdeführer macht geltend, das Obergericht sei in Willkür verfallen, wenn es ausführe, die von der Ehefrau geltend gemachten Forderungen von Fr. 17'700.-- und Fr. 15'000.-- seien für den Streitwert nicht massgebend, weil sie keine güterrechtlichen Ansprüche darstellten. Es gehe nicht an, dass ein Verfahren ohne Streitwert vorliege, wenn zwar güterrechtliche Forderungen geltend gemacht, diese jedoch als unbegründet erachtet würden. Stelle man - wie vom Obergericht dargelegt - auf die erste Stellungnahme der Ehefrau vom 30. Juni 2009 ab, habe diese unter dem Titel Güterrecht Fr. 32'700.-- gefordert. Dieser Betrag sei für den Streitwert massgebend. Damit berechne sich seine mit dem Hauptbegehren vor Bundesgericht geforderte Entschädigung wie folgt:
Grundentschädigung Fr. 6'514.00
Drei Zuschläge von jeweils 20 % Fr. 3'908.40
Spesen Fr. 350.00
7.6 % MwSt. Fr. 818.70
Total Fr. 11'591.10
4.2 Die vor dem Bundesgericht eventualiter geforderte Entschädigung von Fr. 8'132.40 betreffe sodann den Fall, dass für die Streitwertberechnung einzig auf die in der Klageantwort der Ehefrau vom 13. Oktober 2008 unter dem Titel Güterrecht geltend gemachten Ansprüche in der Höhe von Fr. 17'700.-- abzustellen wäre.
5. 5.1 Im Rahmen der Willkürrüge (vgl. E. 2.2 oben) ist erforderlich, dass der Beschwerdeführer darlegt, inwiefern sich die obergerichtliche Entschädigung (von vorliegend Fr. 5'799.65) auch im Ergebnis als willkürlich erweist. Für die Annahme einer Verletzung von Art. 9 BV genügt es nicht, wenn die kantonale Behörde, welche die Entschädigung festzusetzen hat, einen in Rechnung gestellten Posten irrtümlich würdigt oder sich - wie vorliegend vom Beschwerdeführer behauptet - auf ein unhaltbares Argument stützt. Der angefochtene Entscheid ist erst dann aufzuheben, wenn der dem unentgeltlichen Rechtsbeistand zugesprochene gesamthafte Betrag willkürlich erscheint (BGE 109 Ia 107 E. 3d S. 112). In der Beschwerde ist darzulegen, dass und weshalb der angefochtene Kostenentscheid auch im Ergebnis willkürlich sein soll (BGE 123 III 261 E. 4 S. 270).
5.2 Der Beschwerdeführer bringt bezogen auf das Ergebnis einzig vor, dass sich seine Aufwendungen am effektiven Streitwert (und sogar noch höher) zu bemessen hätten (Ziff. III/2 S. 9 der Beschwerde).
5.3 Diese kurze Begründung vermag den erwähnten Anforderungen an die Darlegung der Willkür im Ergebnis nicht zu genügen. Vielmehr hätte dies erfordert, dass der Beschwerdeführer in der Beschwerde seinen Aufwand dargelegt hätte, um anschliessend aufzuzeigen, dass die zugesprochene (und wie von ihm behauptet falsch berechnete) Entschädigung dazu im Ergebnis in einem offensichtlichen Missverhältnis steht (BGE 123 III 261 E. 4b S. 270).
Auf die Beschwerde kann demnach nicht eingetreten werden.
6. Aus den dargelegten Gründen ist auf die Beschwerde in Zivilsachen und auf die subsidiäre Verfassungsbeschwerde nicht einzutreten. Der Beschwerdeführer wird kosten-, nicht hingegen entschädigungspflichtig (Art. 66 und Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in Zivilsachen und auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Inspektionskommission, schriftlich mitgeteilt.
Lausanne, 20. Februar 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Bettler