Sachverhalt: A. A._ ist vor dem Bezirksgericht Appenzell I.Rh. als Beklagter in einen Zivilprozess verwickelt. Der Streit dreht sich um die Erbschaft von C._, verstorben am 7. Juli 2009. Die Klage wurde am 5. Januar 2010 erhoben. B. Am 29. Januar 2015 strengte A._ beim Kantonsgericht Appenzell I.Rh. ein Ausstandsbegehren gegen B._ an, den Präsidenten des Bezirksgerichts Appenzell I.Rh. Als Verfahrensantrag stellte er zudem das Begehren, D._, der Präsident des Kantonsgerichts Appenzell I.Rh., habe sich bei der Beurteilung des Ausstandsgesuchs gegen B._ der Mitwirkung zu enthalten. Für dieses Begehren wurde beim Kantonsgericht Appenzell I.Rh. ein weiteres Ausstandsverfahren eröffnet. Der Vizepräsident des Kantonsgerichts wies das Ausstandsbegehren gegen D._ am 25. Februar 2015 ab. Darauf wies dieser das Ausstandsbegehren gegen B._ ab (Entscheid vom 27. Februar 2015). C. A._ hielt an seinem Ausstandsbegehren gegen B._ fest und wandte sich mit Beschwerde vom 12. März 2015 an die Kommission für allgemeine Beschwerden des Kantonsgerichts Appenzell I.Rh. Diese wies die Beschwerde ab (Entscheid vom 21. April 2015 im Verfahren KBA 3-2015). Am gleichen Tag erging auch der abschlägige Beschwerdeentscheid derselben Kommission im Ausstandsverfahren gegen D._, den Präsidenten des Kantonsgerichts Appenzell I.Rh (Verfahren KBA 2-2015). Die dagegen erhobene Beschwerde wies das Bundesgericht mit Urteil 5A_447/2015 vom 14. August 2015 ab. D. Mit Beschwerde in Zivilsachen vom 27. Mai 2015 gelangt A._ (Beschwerdeführer) an das Bundesgericht. Er beantragt, den Entscheid der Kommission für allgemeine Beschwerden des Kantonsgerichts Appenzell I.Rh. im Verfahren KBA 3-2015 aufzuheben und das Ausstandsbegehren gegen B._ (Beschwerdegegner) gutzuheissen. Mit Verfügung vom 9. Juli 2015 entsprach der Präsident der II. zivilrechtlichen Abteilung dem Gesuch, der Beschwerde die aufschiebende Wirkung zu erteilen. Im Übrigen hat sich das Bundesgericht die kantonalen Akten überweisen lassen, in der Sache aber keine Vernehmlassungen eingeholt.