Sachverhalt: A. A._ ist vor dem Bezirksgericht Appenzell I.Rh. als Baklagter in einen Zivilprozess verwickelt. Der Streit dreht sich um die Erbschaft von C._, verstorben am 7. Juli 2009. Die Klage wurde am 5. Januar 2010 erhoben. B. Am 29. Januar 2015 strengte A._ beim Kantonsgericht Appenzell I.Rh. ein Ausstandsbegehren gegen B._ an, den Präsidenten des Bezirksgerichts Appenzell I.Rh. Als Verfahrensantrag stellte er das Begehren, D._, der Präsident des Kantonsgerichts Appenzell I.Rh., habe sich bei der Beurteilung des Ausstandsgesuchs gegen B._ der Mitwirkung zu enthalten. Für dieses Begehren wurde beim Kantonsgericht Appenzell I.Rh. ein weiteres Ausstandsverfahren eröffnet. Mit Entscheid vom 25. Februar 2015 wies der Vizepräsident des Kantonsgerichts das Ausstandsbegehren gegen D._ ab. Zwei Tage später fällte dieser seinen Entscheid im Ausstandsverfahren gegen B._. C. A._ hielt an seinem Ausstandsbegehren gegen D._ fest und wandte sich mit Beschwerde vom 9. März 2015 an die Kommission für allgemeine Beschwerden des Kantonsgerichts Appenzell I.Rh. Diese wies die Beschwerde ab (Entscheid vom 21. April 2015 im Verfahren KBA 2-2015). Am gleichen Tag erging auch der abschlägige Beschwerdeentscheid derselben Kommission im Ausstandsverfahren gegen B._, den Präsidenten des Bezirksgerichts Appenzell I.Rh. (Verfahren KBA 3-2015). D. Mit Beschwerde vom 27. Mai 2015 gelangt A._ (Beschwerdeführer) an das Bundesgericht. Er beantragt, den Entscheid der Kommission für allgemeine Beschwerden des Kantonsgerichts Appenzell I.Rh. im Verfahren KBA 2-2015 aufzuheben und das Ausstandsbegehren gegen D._ (Beschwerdegegner) gutzuheissen. Sämtliche Entscheide des Kantonsgerichts betreffend den Ausstand von B._, an denen der Beschwerdegegner mitgewirkt hat, seien zu wiederholen. Das Bundesgericht hat sich die kantonalen Akten überweisen lassen, in der Sache aber keine Vernehmlassungen eingeholt.