Sachverhalt: A. X._ ist vor dem Bezirksgericht Appenzell I.Rh. als Beklagter in einen Zivilprozess verwickelt. Der Streit dreht sich um X._s Einsetzung als Erbe im Nachlass von A._ (1917-2009). X._ beantragte, auf die Klage von 21 Erben vom 5. Januar 2010 nicht einzutreten. Er berief sich auf die fehlende örtliche Zuständigkeit des Bezirksgerichts. Mit Bescheid vom 24. September 2013 wies Gerichtspräsident Caius Savary die Einrede der Unzuständigkeit ab. Hierauf legte X._ am 7. Oktober 2013 beim Kantonsgericht Appenzell I.Rh. Berufung ein. Am 30. Oktober 2013 sandte er dem Kantonsgericht die Berufungsbegründung. B. B.a. Mit einer weiteren Eingabe vom 7. November 2013 stellte X._ bei der Vizepräsidentin des Kantonsgerichts Appenzell I.Rh. ein Ausstandsbegehren gegen Caius Savary, den vorsitzenden Richter im erbrechtlichen Prozess vor dem Bezirksgericht (Bst. A). Als "Verfahrensantrag" stellte er das Begehren, den Kantonsgerichtspräsidenten Erich Gollino anzuweisen, "bei der Beurteilung des vorliegenden Ausstandsgesuchs in den Ausstand zu treten". B.b. Hierauf sistierte die Vizepräsidentin des Kantonsgerichts mit Verfügung vom 12. November 2013 das Ausstandsverfahren gegen Caius Savary (Prozessnummer KE 30-2013) und eröffnete unter dem Aktenzeichen KE 31-2013 ein Ausstandsverfahren gegen Erich Gollino. Mit Verfügung vom gleichen Tag teilte sie X._ mit, das Gericht verlange in diesem Verfahren für die mutmasslichen Gerichtskosten einen Vorschuss von Fr. 5'000.--. Dieser sei bis zum 25. November 2013 zu überweisen. C. C.a. Hierauf wandte sich X._ mit Beschwerde vom 21. November 2013 an die Kommission für allgemeine Beschwerden des Kantonsgerichts Appenzell I.Rh. Er beantragte, die Verfügung vom 12. November 2013 betreffend den Vorschuss im Verfahren KE 31-2013 aufzuheben und das Verfahren KE 31-2013 als erledigt abzuschreiben. Weiter sei die "Vorinstanz" anzuweisen, im Verfahren KE 30-2013 über den Ausstand von Richter Caius Savary zu entscheiden. Als "Verfahrensantrag" stellte er das Begehren, der Beschwerde die aufschiebende Wirkung zu erteilen. C.b. Mit Schreiben vom 22. November 2013 teilte die Kommission für allgemeine Beschwerden X._ mit, die Bezeichnung der beschwerdegegnerischen Partei stimme nicht mit den Angaben in seinen Rechtsbegehren überein. Sie setzte ihm zur Verbesserung eine Nachfrist bis zum 6. Dezember 2013; andernfalls gelte "die Beschwerdeschrift als nicht erfolgt". Weiter verlangte die Kommission für die mutmasslichen Gerichtskosten einen binnen gleicher Frist zu überweisenden Vorschuss von Fr. 3'000.--. Den Antrag, der Beschwerde aufschiebende Wirkung zu erteilen, wies die Kommission ab. C.c. Mit Schreiben vom 28. November 2013 setzte die Vizepräsidentin des Kantonsgerichts X._ im Ausstandsverfahren KE 31-2013 (s. Bst. B.b) eine Nachfrist bis zum 9. Dezember 2013, um den am 12. November 2013 verfügten Kostenvorschuss von Fr. 5'000.-- zu überweisen. Sie verband damit die Androhung, bei Nichtleistung des Vorschusses auf das Gesuch nicht einzutreten. D. D.a. Mit Beschwerde vom 3. Dezember 2013 gelangt X._ (Beschwerdeführer) an das Bundesgericht. Er beantragt, die Verfügung der Kommission für allgemeine Beschwerden des Kantonsgerichts Appenzell I.Rh. vom 22. November 2013 (Bst. C.b) und diejenige des Kantonsgerichts Appenzell I.Rh. vom 12. November 2013 (Bst. B.b ) aufzuheben. Weiter sei das Kantonsgericht anzuweisen, das Verfahren KE 31-2013 als erledigt abzuschreiben. In prozessualer Hinsicht ersucht der Beschwerdeführer darum, der Beschwerde die aufschiebende Wirkung zu erteilen. Überdies verlangt er, die Kommission für allgemeine Beschwerden des Kantonsgerichts Appenzell I.Rh. und das Kantonsgericht Appenzell I.Rh. superprovisorisch anzuweisen, bis zur rechtskräftigen Erledigung des bundesgerichtlichen Verfahrens jegliche Verfahrenshandlungen zu unterlassen. D.b. Die II. zivilrechtliche Abteilung des Bundesgerichts entsprach sowohl dem Antrag um superprovisorische Massnahmen (Verfügung vom 5. Dezember 2013) als auch dem Gesuch um aufschiebende Wirkung (Verfügung vom 6. Januar 2014). D.c. Auf sein Ersuchen hin wurde dem Beschwerdeführer am 13. Januar 2014 die Stellungnahme der Kommission für allgemeine Beschwerden des Kantonsgerichts Appenzell I.Rh. zu seinem Gesuch um aufschiebende Wirkung zugestellt. Der Beschwerdeführer liess sich dazu mit Schreiben vom 17. Januar 2014 vernehmen. Die Eingabe wurde der Kommission für allgemeine Beschwerden zur Kenntnisnahme zugestellt. Das Bundesgericht hat die vorinstanzlichen Akten, in der Sache jedoch keine Vernehmlassungen eingeholt.