Sachverhalt:
A.
Der von Rechtsanwalt B._ amtlich verteidigte A._ wurde am 19. Juli 2017 vom Regionalgericht Landquart wegen mehrfacher Vergewaltigung und weiterer Delikte zu einer Freiheitsstrafe von 12 Jahren und einer Busse von Fr. 1'000.-- verurteilt.
Am 23. Oktober 2017 erhob A._ Berufung und am 12. Dezember 2017 beantragte er, Rechtsanwalt Fortunat L. Schmid sei anstelle von Rechtsanwalt B._ als amtlicher Verteidiger einzusetzen. Mit Verfügung vom 5. Januar 2018 lehnte das Kantonsgericht Graubünden das Gesuch ab.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 10. Januar 2018 beantragt A._, die Verfügung des Kantonsgerichts sei aufzuheben und Rechtsanwalt Fortunat L. Schmid sei im Berufungsverfahren als sein amtlicher Verteidiger einzusetzen.
Die Staatsanwaltschaft schliesst auf Abweisung der Beschwerde. Das Kantonsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Es weist zudem darauf hin, dass die in der Beschwerdeschrift vorgetragenen Gründe für einen Verteidigerwechsel im kantonalen Verfahren nicht vorgebracht worden seien. Rechtsanwalt B._ hat sich zur Sache nicht geäussert. Der Beschwerdeführer hat eine Replik eingereicht.
C.
Mit Präsidialverfügung vom 11. Januar 2018 hat das Bundesgericht das Gesuch des Beschwerdeführers, die Berufungsverhandlung des Kantonsgerichts vom 16. Januar 2018 vorsorglich abzusetzen, abgewiesen.

Erwägungen:
1.
1.1. Bei der angefochtenen Verfügung handelt es sich um einen kantonal letztinstanzlichen Zwischenentscheid in Strafsachen (Art. 78, 80 und 93 BGG).
1.2. Gemäss <ref-law> ist die Beschwerde gegen einen Zwischenentscheid unter anderem dann zulässig, wenn dieser einen nicht wieder gutzumachenden Nachteil bewirken kann. Dies trifft im Fall der Ablehnung eines Gesuchs um Wechsel des amtlichen Verteidigers insbesondere dann zu, wenn eine wirksame Verteidigung nicht mehr gewährleistet ist (<ref-ruling> E. 1.1 f. S. 115 f.; Urteile 1B_243/2017 vom 28. November 2017 E. 1.3.2; 1B_211/2014 vom 23. Juli 2014 E. 1.2, in: Pra 2014 Nr. 104 S. 838; 1B_127/2015 vom 8. Juni 2015 E. 1; je mit Hinweisen). Der Beschwerdeführer hat dargelegt, weshalb dies nach seiner Auffassung hier der Fall ist. Damit ist die Sachurteilsvoraussetzung von <ref-law> erfüllt. Auf die Beschwerde ist unter dem Vorbehalt der nachfolgenden Erwägungen einzutreten.
1.3. Nach Art. 99 Abs. 1 dürfen neue Tatsachen und Beweismittel nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt.
2.
2.1. Nach der Praxis des Bundesgerichts zu Art. 29 Abs. 3 und Art. 32 Abs. 2 BV hat der amtlich verteidigte Beschuldigte einen grundrechtlichen Anspruch auf sachkundige, engagierte und effektive Wahrnehmung seiner Parteiinteressen (<ref-ruling> E. 2.4 S. 164 mit Hinweis). Ein Begehren um Auswechslung des amtlichen Verteidigers ist zu bewilligen, wenn aus objektiven Gründen eine sachgemässe Vertretung der Interessen des Beschuldigten durch den bisherigen Rechtsanwalt nicht mehr gewährleistet ist (<ref-ruling> E. 4b/aa S. 105 mit Hinweisen).
Über diesen grundrechtlichen Anspruch hinausgehend sieht seit Inkrafttreten der Schweizerischen Strafprozessordnung deren Art. 134 Abs. 2 vor, dass die Verfahrensleitung die amtliche Verteidigung einer anderen Person überträgt, wenn das Vertrauensverhältnis zwischen der beschuldigten Person und ihrer amtlichen Verteidigung erheblich gestört oder eine wirksame Verteidigung aus anderen Gründen nicht mehr gewährleistet ist. Die gesetzliche Regelung trägt dem Umstand Rechnung, dass eine engagierte und effiziente Verteidigung nicht nur bei objektiver Pflichtverletzung der Verteidigung, sondern bereits bei erheblich gestörtem Vertrauensverhältnis beeinträchtigt sein kann. Dahinter steht die Idee, dass eine amtliche Verteidigung in jenen Fällen auszuwechseln ist, in denen auch eine privat verteidigte beschuldigte Person einen Wechsel der Verteidigung vornehmen würde (<ref-ruling> E. 2.4 S. 165 mit Hinweis auf die Botschaft).
Wird die subjektive Sichtweise des Beschuldigten in den Vordergrund gestellt, bedeutet dies aber nicht, dass allein dessen Empfinden bzw. dessen Wunsch für einen Wechsel der Verteidigung ausreicht. Vielmehr muss die Störung des Vertrauensverhältnisses mit konkreten Hinweisen belegt und objektiviert werden (<ref-ruling> E. 2.4 S. 165 mit Hinweisen).
2.2. Im vorinstanzlichen Verfahren machte der Beschwerdeführer einzig geltend, das Vertrauensverhältnis sei aufgrund einiger Äusserungen seines Verteidigers gestört. Was diese Äusserungen konkret beinhalteten, legte er nicht dar. Der amtliche Verteidiger vermutete, dass er vom Beschwerdeführer abgelehnt werde, weil er ihm geraten habe, ein Geständnis abzulegen, sofern er die ihm vorgeworfenen Taten tatsächlich begangen habe. Zu Recht hält die Vorinstanz fest, dass dieser Umstand nicht gegen eine wirksame Verteidigung spricht. Ein Geständnis kann je nach den Umständen im Interesse des Beschuldigten liegen (Urteil 1B_344/2011 14. Oktober 2011 E. 1.4).
2.3. Der Beschwerdeführer stellt im bundesgerichtlichen Verfahren zahlreiche neue Behauptungen auf. So bringt er unter anderem vor, sein amtlicher Verteidiger habe auf seinen Wunsch nach einem Verteidigerwechsel mit wüsten Beschimpfungen reagiert. Weiter habe er ihm gedroht, dass er, sollte er nicht gefügig sein, am 16. Januar 2018 mit Gewalt gefügig gemacht werden würde. Er werde jetzt 12 Jahre in Haft sitzen, dann nach Nigeria ausgeschafft, wo er noch eine Lebenserwartung von 10 Tagen habe, bevor er getötet werde. Weiter habe der amtliche Verteidiger vom Berufsgeheimnis geschützte Interna ausgebreitet und sich in einem Austausch mit seiner Ehefrau per WhatsApp wie ein beängstigender Stalker aufgeführt.
Diese Tatsachen und Beweismittel hat der Beschwerdeführer im vorinstanzlichen Verfahren nicht vorgebracht. Dass dazu erst der angefochtene Entscheid Anlass gegeben hat, macht er nicht geltend und ist auch nicht ersichtlich. Sie sind deshalb unzulässig (<ref-law>).
3.
Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Das Gesuch ist wegen Aussichtslosigkeit abzuweisen (<ref-law>). Der finanziellen Lage des Beschwerdeführers ist durch reduzierte Gerichtskosten Rechnung zu tragen (Art. 65 Abs. 2, Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft und dem Kantonsgericht von Graubünden, I. Strafkammer, schriftlich mitgeteilt.
Lausanne, 5. März 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold