Sachverhalt:
A.
A.a. Nach Abschluss des Scheidungsprozesses von B.C._ und C.C._ wies das Obergericht des Kantons Aargau die Obergerichtskasse an, dem Rechtsvertreter von C.C._, Rechtsanwalt A._, für das erstinstanzliche Verfahren eine Entschädigung von Fr. 11'759.-- (inkl. Auslagen und MWSt) und für das zweitinstanzliche Verfahren eine solche von Fr. 2'549.-- (inkl. Auslagen und MWSt) auszurichten (Verfügung vom 25. Oktober 2017).
A.b. Mit Schreiben vom 31. Oktober 2017 bat A._ das Obergericht um eine Neubeurteilung der festgelegten Parteientschädigung. Mit Antwortschreiben vom 6. November 2017 wurde das Gesuch abgelehnt und die Verfügung vom 25. Oktober 2017 bestätigt.
B.
A._ (Beschwerdeführer) wendet sich am 24. November 2017 mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde an das Bundesgericht. Er verlangt die Aufhebung der vorinstanzlichen Verfügung vom 25. Oktober 2017 und eine Parteientschädigung im Rahmen der unentgeltlichen Rechtsvertretung für das erstinstanzliche Verfahren von Fr. 17'198.45 (inkl. Auslagen und MWSt) und eine solche von Fr. 4'299.60 (inkl. Auslagen und MWSt) für das zweitinstanzliche Verfahren.
Auf die Vernehmlassung der Vorinstanz vom 8. März 2018 wird im Sachzusammenhang eingegangen.
Erwägungen:
1.
1.1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob die Eintretensvoraussetzungen gegeben sind (BGE 143 III 140 E. 1 S. 143).
1.2. Der angefochtene Entscheid, der die Entschädigung des Beschwerdeführers als unentgeltlicher Rechtsbeistand festsetzt, ist ein Endentscheid (Art. 90 BGG) einer letzten kantonalen Instanz (Art. 75 BGG). Die amtliche Entschädigung ist ein blosser Nebenpunkt, weshalb grundsätzlich das in der Hauptsache zulässige Rechtsmittel offensteht (s. Urteile 5A_380/2014 vom 30. September 2014; 5A_945/2013 vom 24. Dezember 2013 E. 1.2; 5D_26/2010 vom 21. Juli 2010 E. 1). Dies gilt auch dann, wenn in einem separaten Entscheid über die Entschädigung des unentgeltlichen Rechtsvertreters entschieden wird.
In der Hauptsache geht es um eine Scheidung. Die angefochtene Verfügung enthält entgegen Art. 112 Abs. 1 lit. d BGG keine Rechtsmittelbelehrung und damit auch keine Angabe zum Streitwert, hingegen ist klar, dass es vor Vorinstanz um vermögensrechtliche Ansprüche i.S.v. Art. 74 Abs. 1 lit. b BGG (Unterhalt und Güterrecht; zur Berechnung des Streitwerts vgl. Art. 51 Abs. 1 lit. a, Art. 51 Abs. 2 und Art. 52 BGG) ging. Der Blick in das bei den Akten befindliche Urteil des Obergerichts vom 28. Juni 2017 betreffend Scheidung zeigt, dass das vor der Vorinstanz streitig Gebliebene den Streitwert von Fr. 30'000.-- erreicht. Entsprechend erweist sich die Beschwerde in Zivilsachen auch für den Streit um die Entschädigung des unentgeltlichen Rechtsvertreters als das zutreffende Rechtsmittel (Art. 72 Abs. 1 BGG). Die subsidiäre Verfassungsbeschwerde (Art. 113 BGG) ist damit unzulässig.
Die übrigen Eintretensvoraussetzungen sind erfüllt und geben zu keinen Bemerkungen Anlass.
2.
2.1. Die Vorinstanz setzte die strittige Entschädigung gestützt auf das Dekret des Kantons Aargau über die Entschädigung der Anwälte (Anwaltstarif; AnwT, SAR 291.150) fest. Die Verletzung von kantonalem Recht prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; es gilt das Rügeprinzip). Die Verletzung kantonalen Rechts per se ist indes auch im ordentlichen Beschwerdeverfahren (abgesehen von hier nicht gegebenen Ausnahmen, vgl. Art. 95 lit. c-e BGG) kein Beschwerdegrund vor Bundesgericht. Vielmehr kann diesbezüglich nur gerügt werden, die Anwendung des kantonalen Rechts durch die Vorinstanz verletze das Bundesrecht im Sinne von Art. 95 lit. a BGG - namentlich das Willkürverbot (Art. 9 BV) oder andere verfassungsmässige Rechte - oder das Völkerrecht im Sinne von Art. 95 lit. b BGG (BGE 133 III 462 E. 2.3 S. 466; 133 II 249 E. 1.2.1 S. 251 f.).
2.2. Bei der Festsetzung der Entschädigung des unentgeltlichen Rechtsbeistands verfügen die kantonalen Instanzen über ein weites Ermessen. Das Bundesgericht greift nur ein, wenn die Vorinstanz dieses willkürlich ausgeübt hat (BGE 122 I 1 E. 3a S. 2; 118 Ia 133 E. 2b S. 134). Ein angefochtener Entscheid ist erst dann aufzuheben, wenn der dem amtlichen Anwalt zugesprochene gesamthafte Betrag auch im Ergebnis willkürlich erscheint (BGE 109 Ia 107 E. 3d S. 112; zuletzt Urteil 8C_98/2017 vom 27. Oktober 2017 E. 4.2 und 4.3, ferner Urteil 5A_945/2013 vom 24. Dezember 2013 E. 2.1).
3.
3.1. Die Vorinstanz erwägt, dass es sich bei Verfahren über die Festsetzung von Unterhaltsbeiträgen nicht um vermögensrechtliche Streitigkeiten im Sinn des AnwT handle (§ 3 Abs. 1 lit. d AnwT). Das Honorar werde in Bezug auf diesen nicht vermögensrechtlichen Teil deshalb nach dem mutmasslichen Aufwand des Anwalts innerhalb eines Rahmens von Fr. 1'210.-- bis Fr. 14'740.-- berechnet (§ 3 Abs. 1 lit. b AnwT). Im vorliegenden Verfahren gebe es aber aufgrund der geltend gemachten güterrechtlichen Ausgleichszahlung auch einen vermögensrechtlichen Teil (mit Streitwert von Fr. 120'000.--, ausgehend davon, dass der Beklagte die Forderung der Klägerin von Fr. 160'000.-- im Umfang von Fr. 40'000.-- anerkannt habe). Aus diesem vermögensrechtlichen Teil der Berufung ergebe sich eine Grundentschädigung von Fr. 14'210.-- (§ 3 Abs. 1 lit. a Ziff. 6 AnwT). Die so berechnete Entschädigung liege über derjenigen für den nicht vermögensrechtlichen Teil des Verfahrens, weshalb auf jene abzustellen sei (§ 3 Abs. 1 lit. c AnwT). Zusammen mit einem Zuschlag von 10 % für eine zusätzliche Rechtsschrift (Duplik) und eine zusätzliche Verhandlung resultiere eine Entschädigung von Fr. 15'631.--, welche antragsgemäss zu kürzen sei (§ 12a AnwT), wobei eine Kürzung um 1/3 oder Fr. 5'210.-- angemessen erscheine. Zuzüglich die Auslagen von Fr. 467.-- sowie die MWSt (8 % von Fr. 10'888.-- = 871.--) betrage das erstinstanzliche Honorar somit Fr. 11'759.--.
Zweitinstanzlich habe der Streitwert nach AnwT (allein auf die güterrechtliche Forderung bezogen) Fr. 12'000.-- betragen, was einer Grundentschädigung von Fr. 3'630.-- gemäss § 3 Abs. 1 lit. a Ziff. 2 AnwT entspreche. Ohne Zuschläge und nach Abzug von 25 % für das Rechtsmittelverfahren (§ 8 AnwT) und von 10 % für die fehlende Verhandlung (§ 6 Abs. 2 AnwT) und ohne weitere Auslagen, da die Gesamtauslagen bereits beim erstinstanzlichen Honorar berücksichtigt worden seien, betrage die Entschädigung für das zweitinstanzliche Verfahren somit Fr. 2'359.50 zuzüglich 8 % MWSt (Fr. 189.--) ergebend Fr. 2'549.--.
3.2. Vom Beschwerdeführer aufgefordert, die Entschädigungsverfügung in Wiedererwägung zu ziehen, hat die Vorinstanz mit Schreiben vom 6. November 2017 an ihrem Standpunkt festgehalten. Im Schreiben wird ausgeführt, zwar sei es zutreffend, dass für die Streitwertberechnung die bundesrechtlichen Bestimmungen der Zivilprozessordnung massgebend seien. Dies ändere aber nichts daran, dass es sich bei Unterhaltsforderungen im Rahmen eines Ehescheidungsverfahrens um eine nicht vermögensrechtliche Streitsache handle und daher die kantonale Bestimmung von § 3 Abs. 1 lit. d AnwT im Rahmen der kantonalen Tarifhoheit gemäss Art. 96 ZPO vom Bundesrecht nicht derogiert werde. Dies werde etwa von Stein-Wigger, in: Sutter-Somm/Hasenböhler/Leuenberger, ZPO Kommentar, N. 8 zu Art. 91 ZPO, bestätigt.
An diesem Standpunkt hält die Vorinstanz auch in ihrer Vernehmlassung vom 8. März 2018 fest.
3.3. Für den Beschwerdeführer ist die vorinstanzliche Begründung in zweierlei Hinsicht nicht stichhaltig bzw. willkürlich. Einerseits gehörten zu den zu regelnden Nebenfolgen einer Scheidung - nebst dem Unterhalt - auch die güterrechtliche Auseinandersetzung. Aufgrund der von der Vorinstanz vertretenen Auffassung hätte sie konsequenterweise gar keinen Streitwert festlegen dürfen. Beim Güterrecht sei die Vorinstanz jedoch von einem Streitwert von Fr. 120'000.-- ausgegangen. Ihre Begründung sei somit widersprüchlich. Indem die Vorinstanz das Güterrecht als vermögensrechtlich, die Unterhaltsfrage hingegen (ohne nachvollziehbaren Grund) als nicht vermögensrechtlich qualifiziere, handle sie willkürlich.
Andererseits gelte es, die von der Vorinstanz verwendete Zitatstelle zu differenzieren: Wenn in Eheschutz- und Ehescheidungsverfahren von Anfang an ausschliesslich geldwerte Leistungen Streitgegenstand bildeten, handle es sich um eine vermögensrechtliche Streitigkeit. Der Beschwerdeführer verweist auf Martin H. Sterchi, in: Berner Kommentar, Schweizerische Zivilprozessordnung, 2012, N. 23b zu Art. 91 ZPO. Ehescheidungen würden so als nicht vermögensrechtliche Streitigkeiten gelten. Gehe es aber einzig um Vermögensrechtliches, sei es, dass von Anfang an nur das streitig sei (beispielsweise bei einem reinen Unterhaltsprozess) oder dass die nicht vermögensrechtlichen Begehren in einem Rechtsmittel nicht mehr Thema seien, sei auf das vermögensrechtlich (noch) Streitige abzustellen. Hierzu verweist der Beschwerdeführer auf Peter Diggelmann, in: Schweizerische Zivilprozessordnung, DIKE-Kommentar, 2. Aufl., N. 28 zu Art. 91 ZPO.
Im vorliegenden Fall sei aktenkundig, dass am 13. Januar 2015 vor erster Instanz eine Einigungsverhandlung stattgefunden habe. Die Parteien hätten dem Gericht den gemeinsamen Scheidungswillen mitgeteilt und sich darauf geeinigt, das Verfahren als gemeinsames Begehren vor dem Einzelrichter weiterzuführen. In der Folge sei um den nachehelichen Unterhalt und die Güterrechtsansprüche gestritten worden, wobei die Ehefrau an ihrem Antrag im Verlaufe des Verfahrens festgehalten habe, der Ehemann sei zu verpflichten, ihr einen persönlichen (unbefristeten) Unterhalt von mindestens Fr. 1'734.-- pro Monat zu bezahlen. Vor diesem Hintergrund seien die Unterhaltsforderungen - entgegen der vorinstanzlichen Auffassung - ebenfalls als vermögensrechtlicher Streitgegenstand anzusehen, da die Statusfrage an sich, d.h. die Ehescheidung, nicht mehr in Frage gestanden habe. Da der Hauptpunkt nicht mehr strittig gewesen sei, hätte der Streit um die Nebenfolgen (unter anderem auch die Unterhaltsforderungen) somit als vermögensrechtlich zu gelten.
Der im Recht liegenden Honorarnote für das erstinstanzliche Verfahren sei, gestützt auf eine Indexierung des geltend gemachten Unterhaltsanspruchs der Ehefrau im Sinne von Art. 92 Abs. 2 ZPO, ein Streitwert von Fr. 418'320.-- zugrunde gelegt worden. Der Streitwert in Bezug auf die güterrechtlichen Ansprüche sei bedeutend tiefer. Die Vorinstanz gehe in diesem Zusammenhang von Fr. 120'000.-- aus.
Die Vorinstanz verfalle in Willkür, weil sie bei der Festlegung der Parteientschädigung den Streitwert der Unterhaltsforderung bewusst ausklammere mit der Begründung, dieser Streitpunkt weise im Gegensatz zum Güterrecht keinen Streitwert auf. Die Willkür liege darin begründet, dass sie bei der Anwendung des kantonalen AnwT gegen einen unumstrittenen Rechtsgrundsatz - hier die rechtliche Subsumtion des umstrittenen Unterhalts als vermögensrechtliche Streitigkeit - verstosse.
Die rechtswidrige Anwendung bzw. Auslegung des AnwT sei auch deshalb stossend, weil mit Blick (und Rücksicht) auf die staatliche Entschädigung sämtliche vom AnwT vorgesehenen Maximalkürzungen in Abzug gebracht worden seien. Eine weitergehende Kürzung unter dem Deckmantel der vorgebrachten (willkürlichen) Begründung sei nicht hinnehmbar.
Bei der Anwendung der Tarife für die Parteientschädigung seien die bundesrechtlichen Vorgaben einzuhalten. Dazu würden namentlich alle Fragen zum Streitwert zählen. Mit anderen Worten werde der Begriff der vermögensrechtlichen Streitigkeit und insbesondere der für die Gerichts- und Parteikostenfestlegung massgebende Streitwert vom Bundesrecht definiert; für kantonales Recht bestehe kein Raum mehr. Indem die Vorinstanz unter Berufung auf § 3 Abs. 1 lit. d AnwT von einer anderen Begriffsdefinition ausgehe, verletze sie Bundesrecht. Diese willkürliche Rechtsanwendung wirke sich im Ergebnis auf die Höhe der Parteientschädigung negativ aus.
4.
Das Bundesgericht prüft die Anwendung des AnwT des Kantons Aargau nur unter verfassungsrechtlichen Gesichtspunkten und prüft - aufgrund des geltenden Rügeprinzips - nur ihm unterbreitete Beanstandungen (vgl. vorstehend E. 2.1).
Der Beschwerdeführer macht zusammengefasst geltend, die Vorinstanz handle willkürlich indem sie den Streitwert der Unterhaltsforderung ausklammere mit der Begründung, dieser weise keinen Streitwert auf. Nach ZPO sei auch der Unterhaltsstreit vermögensrechtlicher Natur, weshalb die ganze Angelegenheit als vermögensrechtliche Streitigkeit auf der Basis eines Streitwerts von Fr. 418'320.-- abzurechnen sei.
4.1. Nach § 2 AnwT werden durch die tarifgemässe Entschädigung die in einem Verfahren notwendigen und entsprechend der Bedeutung der Sachen üblichen Leistungen des Anwaltes, einschliesslich der üblichen Vergleichsbemühungen, abgegolten. In vermögensrechtlichen Streitsachen definiert das Dekret eine streitwertabhängige Grundentschädigung, die um einen degressiven Prozentsatz erhöht wird (§ 3 Abs. 1 lit. a AnwT). In Verfahren, die das Vermögen der Parteien weder direkt noch indirekt beeinflussen, wird der Anwalt nach dem mutmasslichen Aufwand, nach der Bedeutung und nach der Schwierigkeit des Falls entschädigt, wobei die Entschädigung zwischen Fr. 1'210.-- bis Fr. 14'740.-- liegt (§ 3 Abs. 1 lit. b AnwT). Sind im gleichen Verfahren vermögensrechtliche und nicht vermögensrechtliche Ansprüche zu beurteilen, so ist die höhere Grundentschädigung massgebend (§ 3 Abs. 1 lit. c AnwT).
Die Festsetzung familienrechtlicher Unterhalts- und Unterstützungsbeiträge sowie partnerschaftlicher Unterhaltsbeiträge und der Vorsorgeausgleich bei Scheidung und Auflösung der eingetragenen Partnerschaft gelten als nicht vermögensrechtliche Streitsachen. Für güterrechtliche Ansprüche gelten dagegen § 3 Abs. 1 lit. a und c AnwT (§ 3 Abs. 1 lit. d AnwT).
4.2. Nach Art. 96 ZPO setzen die Kantone die Tarife für die Prozesskosten fest. In diesem Rahmen sind sie frei, ihre Tarife streitwertabhängig oder als Pauschalen auszugestalten, vorausgesetzt die gesprochene Entschädigung führt dazu, dass der unentgeltliche Rechtsvertreter für seinen begründeten Aufwand angemessen entschädigt wird (vgl. zur Problematik von Pauschalen das Urteil 8C_98/2017 vom 27. Oktober 2017 E. 5 und 6). Die Tarifautonomie schliesst das Recht der Kantone ein, selber zu bestimmen, welche Prozesse sie als vermögensrechtliche Streitigkeiten begreifen und damit streitwertabhängig entschädigen und welche nicht. Daran ändert nichts, dass die ZPO den Begriff der vermögensrechtlichen Streitigkeit bzw. den Streitwert definiert. Diese Definition gilt nur insoweit, als die ZPO selber Rechtsfolgen an die vermögensrechtliche Streitigkeit und den Streitwert knüpft, wie dies beispielsweise bei der Frage der Fall ist, für welche Verfahren das einfache Verfahren Anwendung findet (Art. 243 Abs. 1 ZPO) oder welche erstinstanzlichen Entscheide berufungsfähig sind (Art. 308 Abs. 2 ZPO). Die Tatsache, dass der Kanton Aargau familienrechtliche Unterhaltsstreitigkeiten (und den Streit um den Vorsorgeausgleich) im Hinblick auf die Prozesskosten als nicht vermögensrechtliche Streitigkeiten behandelt, ist daher grundsätzlich nicht zu beanstanden. Weder liegt eine Verletzung der ZPO noch des Vorrangs des Bundesrechts vor (Art. 49 Abs. 1 BV).
4.3. Zu prüfen bleibt, ob sich auch die Handhabung des AnwT im konkreten Fall mit Art. 9 BV und Art. 29 Abs. 3 BV verträgt.
Der Beschwerdeführer bringt zwar vor, dass sich die Berechnungsweise des AnwT resp. die Anwendung des AnwT durch das Obergericht auf seine Entschädigung "negativ auswirke" (vgl. E. 3.3 in fine). Unter verfassungsrechtlichen Vorgaben ist letztlich aber entscheidend, ob der notwendige Aufwand angemessen entschädigt wird, so dass eine effektive Vertretung möglich bleibt. Nachdem der Beschwerdeführer selbst nicht vorbringt, dass der zugesprochene Betrag im Resultat willkürlich sei, er auf die konkreten Verhältnisse in keiner Weise Rücksicht nehme oder ausserhalb jedes vernünftigen Verhältnisses zu seinen geleisteten Diensten stünde (vgl. E. 2.1; zur Zulässigkeit von Anwaltspauschalen allgemein BGE 141 I 124 E. 4.3 S. 128), ist auf diese Kritik nicht einzutreten. Eine Verfassungsverletzung ist weder dargetan noch ersichtlich.
5.
Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Dem Kanton Aargau ist keine Entschädigung geschuldet (Art. 68 Abs. 1 und 3 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien schriftlich mitgeteilt.
Lausanne, 20. April 2018
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Die Gerichtsschreiberin: Friedli-Bruggmann