Sachverhalt:
A.
A._ (Beschwerdeführer 1) ist ein... Ringer.
Das X._ National Olympic Committee (Beschwerdeführer 2) ist das vom Internationalen Olympischen Komitee anerkannte Nationale Olympische Komitee des Landes X.
Die United World Wrestling (Beschwerdegegnerin) ist ein Verein nach schweizerischem Recht mit Sitz in Corsier-sur-Vevey. Es ist vom Internationalen Olympischen Komitee als internationaler Ringsportverband anerkannt.
A._ nahm an den olympischen Sommerspielen 2016 in Rio de Janeiro, Brasilien, als Vertreter des X._ National Olympic Committee in der Kategorie Freistilringen Männer bis 65 kg teil.
Nach einem Wettkampf am... um die Bronzemedaille gegen den... Ringer B._ wurde letzterer mit dem Ergebnis von... zu... zum Sieger erklärt.
B.
Am 21. November 2016 legten A._ und das X._ National Olympic Committee beim Tribunal Arbitral du Sport (TAS) Berufung gemäss R47 Code de l'arbitrage en matière de sport / Code of Sports-related Arbitrationein. Sie machten geltend, sie hätten nach dem Wettkampf beim Vorsitzenden des Schiedsrichterteams schriftlich Protest erhoben. Dieser Protest sei aber unbeantwortet geblieben, was eine Rechtsverweigerung darstelle. Auf Nachfrage des TAS stellten sie das Rechtsbegehren, das Ergebnis des Wettkampfs sei zu ändern ("to change the result of the match").
Mit Zwischenentscheid vom 20. März 2017 (Preliminary Award on Jurisdiction and Admissibility) verneinte das TAS seine Zuständigkeit für die Beurteilung der gestellten Anträge.
C.
In zwei Eingaben vom 18. und 19. April 2017 an das Bundesgericht erklärten A._ und das X._ National Olympic Committee sinngemäss in englischer Sprache, diesen Entscheid mit Beschwerde anfechten zu wollen. Mit Formularverfügung vom 26. April 2017 wurden sie vom Bundesgericht darauf aufmerksam gemacht, dass Rechtsschriften nach <ref-law> und <ref-law> in einer Amtssprache abzufassen sind. Mit Eingabe vom 5. Mai 2017 ist dem Bundesgericht eine deutsche Übersetzung der Eingabe zugegangen. Darin wird beantragt, der Entscheid des TAS sei "aufzuheben oder zu beanstanden".
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Nach <ref-law> ergeht der Entscheid des Bundesgerichts in einer Amtssprache, in der Regel jener des angefochtenen Entscheids. Wurde dieser in einer anderen Sprache redigiert, verwendet das Bundesgericht die von den Parteien gewählte Amtssprache. Der angefochtene Entscheid ist in englischer Sprache abgefasst. Da es sich dabei nicht um eine Amtssprache handelt, ergeht der Entscheid des Bundesgerichts in der Sprache der Beschwerde.
2.
2.1. Die Zulässigkeit der Beschwerde an das Bundesgericht im Bereich der Sportschiedsgerichtsbarkeit setzt nach ständiger Rechtsprechung voraus, dass das Schiedsgericht über Rechtsfragen und nicht ausschliesslich über die Anwendung von Spielregeln entschieden hat. Letztere entziehen sich einer richterlichen Kontrolle (<ref-ruling> E. 3c S. 280 mit Hinweisen; Urteile 5C.248/2006 vom 23. August 2007 E. 3, nicht publ. in: <ref-ruling>; 4P.105/2006 vom 4. August 2006 E. 3.3; 4P.149/2003 vom 31. Oktober 2003 E. 1.1).
2.2. Vor dem TAS hatten die Beschwerdeführer verlangt, die Schiedsrichterentscheidung sei in Wiedererwägung zu ziehen ("to reconsider the decision"). Zur Begründung hatten sie im Wesentlichen vorgebracht, das Schiedsrichterteam habe während des Wettkampfs mehrfach krass gegen die Regeln der Beschwerdegegnerin verstossen und sei bösgläubig sowie willkürlich gewesen. Ihr dahingehender Protest sei unbeantwortet geblieben. Das TAS verneinte seine Zuständigkeit in der Erwägung, die Statuten und Reglemente der Beschwerdegegnerin sähen keine Weiterzugsmöglichkeiten von Schiedsrichterentscheidungen am Wettkampf selber oder von Entscheidungen (respektive unterbliebenen Entscheidungen) über Proteste gegen Schiedsrichterentscheidungen an das TAS vor. Die Parteien hätten die Anfechtbarkeit solcher Entscheidungen auch nicht in einer spezifischen Schiedsvereinbarung vorgesehen. Die Beschwerdeführer hätten keine Grundlage für die Zuständigkeit des TAS genannt.
2.3. Der Entscheid des TAS kann nicht beim Bundesgericht angefochten werden. Die Beschwerdeführer machen nicht geltend und es ist auch nicht erkennbar, dass der Streit, den sie dem TAS unterbreitet haben und auf welchen das TAS nicht eingetreten ist, etwas anderes als eine reine Anwendung von Spielregeln zum Gegenstand hatte. Im Gegenteil brachten sie in ihren Eingaben an das TAS vor, sie suchten Rechtsschutz gegen unrichtige Schiedsrichtertätigkeit ("'wrong' refereeing"). Vor Bundesgericht führen sie nun in der Sache lediglich aus, ihrer Meinung nach sei B._ "zu Unrecht als Gewinner dieses Wettkampfs erklärt worden". Wenn damit aber die von den Beschwerdeführern verlangte Neubeurteilung durch das TAS in der Sache nicht hätte beim Bundesgericht angefochten werden können, kann auch für den Nichteintretensentscheid des TAS nichts anderes gelten. Die Anfechtung fällt auch unter dem Gesichtspunkt von <ref-law> ausser Betracht.
Die Zulässigkeit der Beschwerde an das Bundesgericht ergibt sich im Übrigen auch nicht aus Regel 61 Absatz 2 der Olympischen Charta, die - so die Beschwerdeführer - sämtliche Streitigkeiten an oder im Zusammenhang mit den Olympischen Spielen der ausschliesslichen Zuständigkeit des TAS unterstelle. Ob das TAS gestützt auf diese Bestimmung seine eigene Zuständigkeit hätte bejahen müssen, wie die Beschwerdeführer argumentieren, kann vom Bundesgericht mangels Anfechtbarkeit des Entscheids nicht beurteilt werden. In diesem Sinne hilft es den Beschwerdeführern auch nicht, wenn sie auf die bundesgerichtliche Rechtsprechung zur Gültigkeit und Tragweite von Schiedsvereinbarungen zu Gunsten des TAS verweisen.
3.
Auf die Beschwerde ist nicht einzutreten. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer unter solidarischer Haftung kostenpflichtig (siehe Art. 66 Abs. 1 und 5 BGG). Der Beschwerdegegnerin ist kein Aufwand entstanden, für den sie nach <ref-law> zuentschädigen wäre.

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
3.
Dieses Urteil wird den Parteien und dem Tribunal Arbitral du Sport (TAS) schriftlich mitgeteilt.
Lausanne, 6. Oktober 2017
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Kölz