Sachverhalt:
A.
Die Staatsanwaltschaft Basel-Landschaft führt gegen A._ ein Strafverfahren wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz. Mit Verfügung vom 15. Januar 2016 bestellte sie Advokat Dr. Matthias Aeberli zum amtlichen Verteidiger. Am 4. Februar 2016 zeigte Advokat Dr. Luc Saner an, von A._ als Wahlverteidiger beauftragt worden zu sein und reichte eine entsprechende Vollmacht ein. Mit Verfügung vom 5. Februar 2016 sistierte die Staatsanwaltschaft die amtliche Verteidigung, hielt jedoch gleichzeitig fest, dass die Sistierung aufgehoben und die amtliche Verteidigung wieder an Advokat Aeberli übertragen werde, wenn eine wirksame Verteidigung bis zum Abschluss des Verfahrens nicht mehr gewährleistet sein sollte. Am 10. März 2016 teilte Advokat Nicolas Roulet der Staatsanwaltschaft mit, von A._ als Wahlverteidiger beauftragt worden zu sein und reichte eine Vollmacht ein. Er vertrat den Beschuldigten, bis am 24. Oktober 2016 Advokat Christoph Dumartheray mitteilte, dass nun er mit der Verteidigung beauftragt worden sei.
Am 28. Oktober 2016 beantragte A._, Advokat Dumartheray sei als amtlicher Verteidiger einzusetzen. Die Staatsanwaltschaft lehnte diesen Antrag gleichentags ab und wies darauf hin, dass der Beschuldigte bereits einen amtlichen Verteidiger habe. Dessen Auftrag sei zwar sistiert worden, lebe aber wieder auf, sobald die Wahlverteidigung dahinfalle. Mit Schreiben vom 3. November 2016 beantragte A._ den Wechsel seiner amtlichen Verteidigung von Advokat Aeberli zu Advokat Dumartheray. Mit Verfügung vom 3. November 2016 hob die Staatsanwaltschaft die Sistierung der amtlichen Verteidigung per 1. November 2016 auf und setzte Advokat Aeberli wieder ein. Mit Verfügung vom 4. November 2016 wies sie den Antrag von A._ ab.
Eine von A._ dagegen erhobene Beschwerde wies das Kantonsgericht Basel-Landschaft mit Beschluss vom 21. Februar 2017 ab.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 20. März 2017 beantragt A._, der Beschluss des Kantonsgerichts sei aufzuheben und es sei statt Advokat Aeberli Advokat Dumartheray als amtlicher Verteidiger einzusetzen. Eventualiter sie die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Zudem sei festzustellen, dass das vorinstanzliche Verfahren den Beschleunigungsgrundsatz in Haftsachen verletzt habe. Schliesslich sei ihm für das vorinstanzliche Verfahren die unentgeltliche Rechtsvertretung durch Advokat Dumartheray zu gewähren; eventualiter sei die Sache auch in diesem Punkt an die Vorinstanz zurückzuweisen.
Der amtliche Verteidiger verweist in seiner Vernehmlassung auf den angefochtenen Entscheid. Das Kantonsgericht beantragt die Abweisung der Beschwerde, ebenso die Staatsanwaltschaft. Der Beschwerdeführer hat auf eine Stellungnahme dazu verzichtet.

Erwägungen:
1.
1.1. Beim angefochtenen Beschluss handelt es sich um einen kantonal letztinstanzlichen Zwischenentscheid in Strafsachen (Art. 78, 80 und 93 BGG).
1.2. Gemäss <ref-law> ist die Beschwerde gegen einen Zwischenentscheid unter anderem dann zulässig, wenn dieser einen nicht wieder gutzumachenden Nachteil bewirken kann. Dies trifft im Fall der Ablehnung eines Gesuchs um Wechsel des amtlichen Verteidigers insbesondere dann zu, wenn eine wirksame Verteidigung nicht mehr gewährleistet ist (<ref-ruling> E. 1.1 f. S. 115 f.; Urteile 1B_211/2014 vom 23. Juli 2014 E. 1.2, in: Pra 2014 Nr. 104 S. 838; 1B_127/2015 vom 8. Juni 2015 E. 1; je mit Hinweisen). Der Beschwerdeführer hat dargelegt, weshalb dies nach seiner Auffassung hier der Fall ist. Damit ist die Sachurteilsvoraussetzung von <ref-law> erfüllt. Auf die Beschwerde ist einzutreten.
2.
2.1. Der Beschwerdeführer bringt vor, es handle sich vorliegend faktisch nicht um einen Wechsel der amtlichen Verteidigung, sondern um die "anfängliche Bestellung" eines amtlichen Verteidigers. Während neun Monaten habe sich der bisherige amtliche Verteidiger nicht mit der Sache befasst. Im Umfang, in welchem dieser anfänglich Akten studiert habe, würde der von ihm vorgeschlagene amtliche Verteidiger auf sein Honorar verzichten, sodass dem Staat keine Mehrkosten entstünden. Unter diesen Umständen hätten die Vorinstanzen seinen Wunsch berücksichtigen müssen. Stattdessen solle er nun durch einen Verteidiger vertreten werden, der ihm Empfehlungen abgegeben habe, die aus seiner Sicht seinen Interessen widersprächen und zu dem er unter anderem deshalb kein Vertrauen mehr habe. Worin diese Empfehlungen bestünden, könne er im jetzigen Stadium der Untersuchung jedoch nicht offenbaren.
2.2. Dem Beschwerdeführer wurde am 15. Januar 2016 ein amtlicher Verteidiger beigegeben. In diesem Zusammenhang hatte die Verfahrensleitung nach Möglichkeit die Wünsche des Beschwerdeführers zu berücksichtigen (<ref-law>). Das Vorschlagsrecht der beschuldigten Person kann im Prinzip nur einmal, am Anfang des Verfahrens, ausgeübt werden (Urteil 1B_178/2013 vom 11. Juli 2013 E. 2.2 mit Hinweisen). Dies gilt auch vorliegend, wo der Beschwerdeführer nach der Mandatierung eines Wahlverteidigers und dessen zweifacher Auswechslung neu wieder amtlich verteidigt sein will.
2.3. Nach der Praxis des Bundesgerichts zu Art. 29 Abs. 3 und Art. 32 Abs. 2 BV hat der amtlich verteidigte Beschuldigte einen grundrechtlichen Anspruch auf sachkundige, engagierte und effektive Wahrnehmung seiner Parteiinteressen (<ref-ruling> E. 2.4 S. 164 mit Hinweis). Ein Begehren um Auswechslung des amtlichen Verteidigers ist zu bewilligen, wenn aus objektiven Gründen eine sachgemässe Vertretung der Interessen des Beschuldigten durch den bisherigen Rechtsanwalt nicht mehr gewährleistet ist (<ref-ruling> E. 4b/aa S. 105 mit Hinweisen).
Über diesen grundrechtlichen Anspruch hinausgehend sieht seit Inkrafttreten der Schweizerischen Strafprozessordnung deren Art. 134 Abs. 2 vor, dass die Verfahrensleitung die amtliche Verteidigung einer anderen Person überträgt, wenn das Vertrauensverhältnis zwischen der beschuldigten Person und ihrer amtlichen Verteidigung erheblich gestört oder eine wirksame Verteidigung aus anderen Gründen nicht mehr gewährleistet ist. Die gesetzliche Regelung trägt dem Umstand Rechnung, dass eine engagierte und effiziente Verteidigung nicht nur bei objektiver Pflichtverletzung der Verteidigung, sondern bereits bei erheblich gestörtem Vertrauensverhältnis beeinträchtigt sein kann. Dahinter steht die Idee, dass eine amtliche Verteidigung in jenen Fällen auszuwechseln ist, in denen auch eine privat verteidigte beschuldigte Person einen Wechsel der Verteidigung vornehmen würde (<ref-ruling> E. 2.4 S. 165 mit Hinweis auf die Botschaft).
Wird die subjektive Sichtweise des Beschuldigten in den Vordergrund gestellt, bedeutet dies aber nicht, dass allein dessen Empfinden bzw. dessen Wunsch für einen Wechsel der Verteidigung ausreicht. Vielmehr muss die Störung des Vertrauensverhältnisses mit konkreten Hinweisen belegt und objektiviert werden (<ref-ruling> E. 2.4 S. 165 mit Hinweisen).
2.4. Der Beschwerdeführer macht einzig geltend, seinen bisherigen amtlichen Verteidiger abzulehnen, weil dieser ihm Empfehlungen abgegeben habe, die aus seiner Sicht seinen Interessen widersprächen. Diese pauschale Behauptung reicht nach der dargelegten Rechtsprechung nicht aus, um eine Störung des Vertrauensverhältnisses darzutun. Die Rüge ist unbegründet.
3.
3.1. Der Beschwerdeführer ist weiter der Ansicht, das Kantonsgericht habe das Beschleunigungsgebot verletzt, weil vom Eingang der Beschwerde bei der Vorinstanz bis zur Zustellung ihres Entscheids ganze vier Monate vergangen seien. Er selbst sei am 15. Januar 2016 festgenommen worden und befinde sich seither in Untersuchungshaft, weshalb gemäss <ref-law> das Verfahren vordringlich zu führen sei.
3.2. Gemäss <ref-law> nehmen die Strafbehörden die Strafverfahren unverzüglich an die Hand und bringen sie ohne unbegründete Verzögerung zum Abschluss (Abs. 1). Befindet sich eine beschuldigte Person in Haft, so wird ihr Verfahren vordringlich durchgeführt (Abs. 2). Diese Konkretisierung des in <ref-law> verankerten Grundsatzes auf Beurteilung innert angemessener Frist ist für die Behörden der Strafverfolgung (Art. 12 und 15 ff. StPO) und die Gerichte (Art. 13 und 18 ff. StPO) gleichermassen verbindlich (Urteil 1B_540/2011 vom 12. Dezember 2011 E. 2).
3.3. Die Beschwerde gegen die Verfügung der Staatsanwaltschaft ging am 13. November 2016 beim Kantonsgericht ein. Dieses lud die Staatsanwaltschaft und den amtlichen Verteidiger des Beschwerdeführers zur Vernehmlassung ein. Die Stellungnahmen datieren beide vom 24. November 2016. Die Staatsanwaltschaft wies das Kantonsgericht darauf hin, dass sie bis zum Entscheid betreffend amtliche Verteidigung keine weiteren Einvernahmen mit dem Beschwerdeführer durchführe, um nicht Gefahr zu laufen, dass diese nicht verwertbar seien. Mit Verfügung vom 25. November 2016 schloss das Kantonsgericht den Schriftenwechsel. Den angefochtenen Beschluss fällte es am 21. Februar 2017 und versandte ihn am 10. März 2017. Drei Tage später traf er beim Beschwerdeführer ein.
3.4. Die von der Vorinstanz zu beurteilende Frage war einfach gelagert. Das Verfahren hätte zudem vordringlich durchgeführt werden müssen, zumal sich der Beschwerdeführer in Haft befindet und die Staatsanwaltschaft darüber hinaus darauf hinwies, sie werde bis zum Entscheid keine weiteren Einvernahmen mit dem Beschwerdeführer durchführen. Unter diesen Umständen stellt es eine Verletzung des Beschleunigungsgebots dar, dass das vorinstanzliche Verfahren ganze vier Monate beanspruchte. Die Kritik des Beschwerdeführers erweist sich damit als begründet. Die Verletzung des Beschleunigungsgebots ist in teilweiser Gutheissung der Beschwerde im Dispositiv festzuhalten (vgl. <ref-ruling> E. 2.2 S. 121 f. mit Hinweisen). Ob damit dem Beschwerdeführer eine hinreichende Wiedergutmachung (vgl. Art. 41 EMRK) verschafft worden ist, wird unter einer Gesamtwürdigung des Verfahrens durch den Sachrichter zu beurteilen sein (vgl. Urteil 1B_313/2012 vom 15. Juni 2012 E. 3.3 mit Hinweisen, in: Pra 2012 Nr. 133 S. 960).
4.
4.1. Der Beschwerdeführer beantragte im vorinstanzlichen Verfahren die unentgeltliche Rechtspflege (unentgeltliche Prozessführung und unentgeltliche Rechtsvertretung). Das Kantonsgericht wies das Gesuch mit der Begründung ab, die unentgeltliche Rechtspflege sei für die beschuldigte Person in der StPO nicht vorgesehen. Zudem sei fraglich, ob der Beschwerdeführer überhaupt mittellos sei. Es auferlegte die Kosten des Beschwerdeverfahrens aus diesen Gründen dem Beschwerdeführer und sprach ihm keine Parteientschädigung zu.
4.2. Der Beschwerdeführer erblickt darin eine Verletzung von <ref-law>. Diese Bestimmung sei unabhängig von der StPO anwendbar. Er sei auf die Unterstützung durch einen Rechtsanwalt angewiesen gewesen. In seiner Beschwerde ans Kantonsgericht habe er zudem seine Mittellosigkeit ausreichend belegt.
4.3. Aus der bundesgerichtlichen Rechtsprechung geht hervor, dass <ref-law> als verfassungsrechtliche Minimalgarantie neben der StPO Anwendung findet (Urteile 1B_341/2013 vom 14. Februar 2014 E. 2, in: SJ 2014 I S. 397; 1B_355/2012 vom 12. Oktober 2012 E. 3 und 5.1 f., in: Pra 2013 Nr. 1 S. 1; vgl. auch Urteile 1B_732/2011 vom 19. Januar 2012 E. 7; 1B_705/2011 vom 9. Mai 2012 E. 2; je mit Hinweisen). Die vorinstanzliche Begründung ist insofern unzutreffend. Trotzdem ist der vorinstanzliche Entscheid im Ergebnis nicht zu beanstanden. Angesichts des Umstands, dass der Beschwerdeführer die Kritik an seinem amtlichen Verteidiger in keiner Weise belegte, ist sein Rechtsmittel an die Vorinstanz als aussichtslos zu betrachten. Dies schliesst einen Anspruch auf unentgeltliche Rechtspflege nach <ref-law> aus. Die Rüge der Verletzung dieser Bestimmung ist deshalb unbegründet.
5.
Die Beschwerde ist aus den genannten Gründen teilweise gutzuheissen und es ist festzustellen, dass das Kantonsgericht das Beschleunigungsgebot verletzt hat. Im Übrigen ist die Beschwerde abzuweisen.
Bei diesem Ausgang des Verfahrens sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Dem Rechtsvertreter des Beschwerdeführers ist eine angemessene Parteientschädigung zuzusprechen (Art. 68 Abs. 1 f. BGG). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird damit hinfällig.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und es wird festgestellt, dass das Kantonsgericht Basel-Landschaft das Beschleunigungsgebot verletzt hat. Im Übrigen wird die Beschwerde abgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Basel-Landschaft hat den Rechtsvertreter des Beschwerdeführers, Advokat Christoph Dumartheray, mit Fr. 1'000.-- zu entschädigen.
4.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Basel-Landschaft, Advokat Dr. Matthias Aeberli und dem Kantonsgericht Basel-Landschaft, Abteilung Strafrecht, schriftlich mitgeteilt.
Lausanne, 27. April 2017
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold