Sachverhalt:
A.
Im Mai 2017 führte der Stadtrat Luzern innerhalb der städtischen Grünanlage beim Churchillquai probeweise eine Hundefreilaufzone ein. In einer Medienmitteilung vom 23. Juli 2019 teilte er mit, sie habe sich dem Grundsatz nach bewährt und werde weitergeführt.
In der Folge forderten unter anderem A._, B._ und C._, für die Hundefreilaufzone müsse ein Baubewilligungsverfahren durchgeführt werden. Die Stadt Luzern legte ein entsprechendes Baugesuch vom 12. Juni bis zum 1. Juli 2020 öffentlich auf. Mit Eingabe vom 26. Juni 2020 an das Justiz- und Sicherheitsdepartement des Kantons Luzern (JSD) stellten die genannten und weitere Personen den Antrag, die Baubewilligung sei zu verweigern. Zuständig zur Behandlung ihrer Einsprache sei das JSD, weil der Stadtrat Luzern und die Baudirektion der Stadt Luzern wegen der Äusserungen in der Medienmitteilung vom 23. Juli 2019 befangen seien.
Mit Entscheid vom 4. September 2020 wies die JSD das Ausstandsgesuch ab, soweit es darauf eintrat. Eine von A._, B._ und C._ dagegen erhobene Verwaltungsgerichtsbeschwerde hiess das Kantonsgericht Luzern mit Urteil vom 8. Januar 2021 im Sinne der Erwägungen gut. Es hob den Entscheid des JSD auf und wies die Sache zur Behandlung der Finanzdirektion der Stadt Luzern zu. Die Finanzdirektorin sei die Stellvertreterin der Baudirektorin und habe deshalb über deren Ausstand zu befinden. Falls sie das Ausstandsgesuch als begründet erachte, sei es ihr unbenommen, das Baubewilligungsverfahren fortzusetzen.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 20. Januar 2021 beantragen A._, B._ und C._, das Urteil des Kantonsgerichts sei insoweit aufzuheben, als damit die Sache zur Behandlung der Finanzdirektion der Stadt Luzern zugewiesen werde. Das Ausstandsbegehren gegen die Baudirektion, den Stadtrat und seine Mitglieder sei gutzuheissen und das JSD anzuweisen, die nach § 16 Abs. 2 des Gesetzes des Kantons Luzern vom 3. Juli 1972 über die Verwaltungsrechtspflege (VRG; SRL Nr. 40) zuständige Behörde zu bezeichnen.
Das Kantonsgericht beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das JSD schliesst sich der im angefochtenen Urteil vertretenen Rechtsauffassung an. Die Beschwerdeführerinnen halten in ihrer Stellungnahme dazu an ihren Anträgen fest.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Entscheid in einem Verfahren, welches das Bau- und Planungsrecht betrifft. Dagegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegeben (Art. 82 lit. a und Art. 86 Abs. 1 lit. d BGG). Das Urteil des Kantonsgerichts schliesst das Verfahren nicht ab. Es handelt sich um einen Zwischenentscheid, der nur unter den Voraussetzungen von Art. 92 und 93 BGG beim Bundesgericht angefochten werden kann. Verfahrensgegenstand bildet hier die Frage, welche Behörde zum Entscheid über das von den Beschwerdeführerinnen gestellte Ausstandsgesuch zuständig ist. Die Beschwerde ist deshalb nach Art. 92 Abs. 1 BGG zulässig.
Die Beschwerdeführerinnen haben am vorinstanzlichen Verfahren teilgenommen. Weil das Kantonsgericht ihr Ausstandsgesuch nicht antragsgemäss gutgeheissen, sondern die Sache an eine ihres Erachtens unzuständige und befangene Behörde überwiesen hat, sind sie durch den angefochtenen Entscheid zudem besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung. Sie sind deshalb nach Art. 89 Abs. 1 BGG zur Beschwerde berechtigt.
Nicht einzutreten ist allerdings auf den Antrag, das Bundesgericht habe das Ausstandsbegehren gutzuheissen. Das Kantonsgericht hat den Verfahrensgegenstand auf die Frage der Zuständigkeit zur Behandlung des Ausstandsgesuchs beschränkt. Dass es teilweise auch inhaltliche Erwägungen zur Ausstandsfrage angestellt hat und damit über den Verfahrensgegenstand hinausgegangen ist, ändert daran nichts.
Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Mit dem erwähnten Vorbehalt ist auf die Beschwerde grundsätzlich einzutreten.
2.
Die Beschwerdeführerinnen rügen eine offensichtlich unrichtige Feststellung des Sachverhalts. Ihre Kritik richtet sich allerdings insoweit gegen Ausführungen im angefochtenen Entscheid, die für den Prozessausgang nicht erheblich sind, weil sie nicht die Zuständigkeitsfrage betreffen. Sie ist somit für den Ausgang des Verfahrens nicht entscheidend, weshalb darauf nicht einzugehen ist (vgl. Art. 97 Abs. 1 i.f. BGG). Ähnliches gilt für die im gleichen Zusammenhang erhobene Rüge der Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV). Da das Kantonsgericht den Entscheid des JSD wegen fehlender Zuständigkeit aufhob und die Sache an die seines Erachtens zuständige Behörde überwies, hatte es sich nicht mit der Frage zu befassen, ob jener Entscheid inhaltlich richtig war. Vielmehr konnte es sich auf die für seinen eigenen Entscheid wesentlichen Punkte, das heisst auf die Zuständigkeitsfrage, beschränken. Seine diesbezüglichen Ausführungen erlaubten es den Beschwerdeführerinnen ohne Weiteres, diesen Entscheid beim Bundesgericht sachgerecht anzufechten (vgl. <ref-ruling> E. 5.2 mit Hinweisen). Eine Verletzung des rechtlichen Gehörs liegt deshalb nicht vor.
3.
3.1. Das Gesetz über die Verwaltungsrechtspflege regelt den Ausstand in §§ 14-16. Während § 14 die Ausstandsgründe aufzählt, betreffen die §§ 15 und 16 das Verfahren. Die Bestimmungen haben, soweit hier von Bedeutung, folgenden Wortlaut:
§ 15 2. Anzeigen, Gesuche
1 Amtspersonen, auf die ein Ausstandsgrund zutrifft, melden ihn sofort nach Entstehen oder Bekanntwerden der nach § 16 zuständigen Instanz. Einzelbehörden können die Sache statt dessen ihrem Stellvertreter überweisen; dieser teilt die Übernahme den Parteien mit.
2 Will eine Partei den Ausstand einer Amtsperson verlangen, so hat sie bei der in der Sache zuständigen Behörde sofort nach Bekanntwerden oder Entstehen des Ausstandsgrundes ein begründetes Gesuch zu stellen.
3 [...]
§ 16 3. Entscheid
1 Ist der Ausstand streitig, so entscheidet:
a. die Kollegialbehörde in Ausstandsfällen ihrer Mitglieder, wobei die Betroffenen in Ausstand treten;
b. der Departementsvorsteher in Ausstandsfällen von Angestellten seines Departements;
c. im übrigen die vorgesetzte Behörde.
2 Die Behörde entscheidet auch, ob Amtshandlungen des Ausstandspflichtigen zu wiederholen sind, und bezeichnet nötigenfalls einen ausserordentlichen Stellvertreter.
3 Sollten sich so viele Mitglieder und Ersatzleute im Ausstand befinden, dass die Kollegialbehörde nicht mehr beschlussfähig ist, so entscheidet über den streitigen Ausstand:
a. an Stelle von Gemeindebehörden das Justiz- und Sicherheitsdepartement;
b. an Stelle des Regierungsrates das Kantonsgericht;
c. an Stelle des Kantonsgerichtes die von dessen Präsidenten durch das Los aus den Abteilungspräsidenten der erstinstanzlichen Gerichte bestellten ausserordentlichen Richter;
d. im übrigen die vorgesetzte Behörde.
3.2. Das Kantonsgericht legt dar, gemäss Art. 40 der Verordnung der Stadt Luzern vom 28. August 2002 zum Reglement über die Organisation der Stadtverwaltung Luzern (Organisationsverordnung) sei nicht der Stadtrat Baubewilligungsbehörde, sondern die Baudirektion und damit nicht eine "Kollegialbehörde" im Sinn von § 16 VRG, sondern eine "Einzelbehörde" im Sinn von § 15 VRG. Befinde sich eine Einzelbehörde im Ausstand oder sei über den Ausstand einer Einzelbehörde zu befinden, entscheide hierüber laut § 15 Abs. 1 Satz 2 VRG der Stellvertreter dieser Einzelbehörde und nicht etwa eine Kollegialbehörde. Im Kontext des Planungs- und Baurechts übe die Finanzdirektion gestützt auf einen Stadtratsbeschluss die entsprechende Stellvertretungsfunktion aus. Sei auch die stellvertretende Direktion im Ausstand, amte gestützt auf § 15 Abs. 1 VRG die Stellvertretung dieser Direktion. Die Beschwerdeführerinnen hätten diese Zuständigkeitsordnung übergangen und beriefen sich auf § 16 Abs. 3 lit. a VRG. Diese Bestimmung komme jedoch nur in Fällen zum Tragen, in denen eine Kollegialbehörde zuständig sei, was hier nicht zutreffe. Die Frage nach der Beschlussfähigkeit stelle sich bei Einzelbehörden gar nicht erst. Nichts an diesem Ergebnis zu ändern vermöge die Auffassung der Beschwerdeführerinnen, sämtliche Mitglieder des Stadtrats seien ausstandspflichtig. Nach der Praxis sei nicht zulässig, ein Gremium als Ganzes pauschal abzulehnen. Die Befangenheit sei bei jedem einzelnen Entscheidungsträger differenziert darzulegen.
3.3. Die Beschwerdeführerinnen rügen diese Auslegung des kantonalen Rechts als willkürlich. Sowohl aus dem Wortlaut als auch der Systematik des Gesetzes gehe hervor, dass § 15 Abs. 1 Satz 2 VRG nur die erste (und erst noch freiwillige) Stufe darstelle: Die Einzelbehörde, die sich für befangen halte, "könne" danach die Sache ihrem Stellvertreter überweisen. Sei hingegen der Ausstand streitig, sei § 16 VRG anwendbar. Davon sei übrigens auch die Baudirektion in ihrer Vernehmlassung im vorinstanzlichen Verfahren ausgegangen. Sie habe die Auffassung vertreten, dass gemäss § 16 Abs. 1 lit. c VRG der Stadtrat als vorgesetzte Behörde zu entscheiden habe, wenn der Ausstand streitig sei. Wenn so viele Mitglieder des Stadtrats im Ausstand seien, dass die Kollegialbehörde für die Beantwortung der Frage des Ausstands der Baudirektion nicht mehr beschlussfähig sei, entscheide das JSD. Die Auslegung des Kantonsgerichts würde dagegen dazu führen, dass eine Verfahrenspartei, die von der Befangenheit sämtlicher Mitglieder des Stadtrats ausgehe, nacheinander fünf verschiedene Ausstandsverfahren anstrengen müsse. Im Übrigen treffe es nicht zu, dass sich ein Ausstandsbegehren nicht gegen eine Kollegialbehörde richten könne, sondern nur gegen einzelne Mitglieder. Das Kantonsgericht weiche insofern von seiner eigenen publizierten Rechtsprechung ab (Urteil vom 30. November 2015 E. 2.4, in: Luzerner Gerichts- und Verwaltungsentscheide [LGVE] 2016 IV Nr. 2 betreffend Vorbefassung des Gemeinderats).
3.4. Willkür in der Rechtsanwendung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht; zudem ist erforderlich, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 5.1; <ref-ruling> E. 4.2; je mit Hinweisen).
3.5. Ausgangspunkt jeder Auslegung bildet der Wortlaut der massgeblichen Norm. Ist der Text nicht ganz klar und sind verschiedene Interpretationen möglich, so muss nach der wahren Tragweite der Bestimmung gesucht werden, wobei alle Auslegungselemente zu berücksichtigen sind (Methodenpluralismus). Dabei kommt es namentlich auf den Zweck der Regelung, die dem Text zugrunde liegenden Wertungen sowie auf den Sinnzusammenhang an, in dem die Norm steht. Die Entstehungsgeschichte ist zwar nicht unmittelbar entscheidend, dient aber als Hilfsmittel, um den Sinn der Norm zu erkennen. Namentlich zur Auslegung neuerer Texte, die noch auf wenig veränderte Umstände und ein kaum gewandeltes Rechtsverständnis treffen, kommt den Materialien eine besondere Bedeutung zu. Vom Wortlaut darf abgewichen werden, wenn triftige Gründe dafür bestehen, dass er nicht den wahren Sinn der Regelung wiedergibt. Sind mehrere Auslegungen möglich, ist jene zu wählen, die der Verfassung am besten entspricht. Allerdings findet auch eine verfassungskonforme Auslegung ihre Grenzen im klaren Wortlaut und Sinn einer Gesetzesbestimmung (<ref-ruling> E. 5.1 mit Hinweisen).
3.6. Gemäss dem Gesetzeswortlaut regeln § 15 Abs. 1 und 2 VRG im Wesentlichen das Vorgehen, das Amtspersonen und Verfahrensparteien zu befolgen haben, wenn ein Ausstandsgrund vorliegt. Erstere melden den Ausstandsgrund gemäss Abs. 1 der nach § 16 VRG zuständigen Instanz, Letztere haben ein begründetes Gesuch zu stellen. Weiter ermöglicht es § 15 Abs. 1 Satz 2 VRG Einzelbehörden, die Sache stattdessen (das heisst, anstelle einer Meldung gemäss Satz 1) ihrem Stellvertreter zu überweisen. Die Verwendung des Wortes "können" weist im Übrigen darauf hin, dass dieses Vorgehen nicht zwingend ist. Die Auffassung, dass dieser Stellvertreter auch zuständig wäre, über Ausstandsgesuche zu entscheiden, findet im Gesetzeswortlaut dagegen keine Stütze. Auch die Titel der beiden Paragraphen weisen in eine andere Richtung: Danach regelt § 15 VRG "Anzeigen, Gesuche", § 16 VRG den "Entscheid". Darauf, dass sich die Zuständigkeit zum Entscheid über strittige Ausstandsgesuche aus § 16 VRG und nicht aus § 15 Abs. 1 VRG ergibt, deutet weiter der Wortlaut von § 16 Abs. 1 VRG hin: "Ist der Ausstand streitig, so entscheidet:...". Sowohl der klare Wortlaut als auch die Systematik des Gesetzes sprechen somit gegen die Auslegung des Kantonsgerichts.
3.7. Ebenfalls nicht zu überzeugen vermag die mit dem Gesetzeszweck zusammenhängende Argumentation der Vorinstanz, die Auffassung der Beschwerdeführerinnen würde darauf hinauslaufen, dass pauschal der Ausstand einer Mehrzahl von Amtspersonen verlangt werden könnte. Die bundesgerichtliche Rechtsprechung verlangt zwar, dass konkrete Befangenheitsgründe gegen einzelne Mitglieder einer Behörde geltend gemacht werden, die über eine pauschale Ablehnung hinausgehen. Dies kann jedoch auch sämtliche Mitglieder einer Behörde betreffen. Unzulässig ist dagegen die pauschale Ablehnung einer Behörde als solcher (zum Ganzen: <ref-ruling> E. 4.3; Urteil 2C_852/2019 vom 20. November 2020 E. 3.2; je mit Hinweisen). Im vorliegenden Fall werfen die Beschwerdeführerinnen dem Stadtrat vor, über die Umnutzung des Churchillquais beschlossen zu haben, noch bevor ein Baubewilligungsverfahren durchgeführt worden sei. Dies gehe aus seiner Medienmitteilung vom 23. Juli 2019 hervor. Er habe sich damit definitiv festgelegt, weshalb ein unbefangener Entscheid im Rahmen des Baubewilligungsverfahrens nicht mehr als möglich erscheine. Dieses Vorbringen der Beschwerdeführerinnen kann ohne Weiteres als gegen die fünf Mitglieder des Stadtrats gerichtet verstanden werden (vgl. Urteil 1B_548/2019 vom 31. Januar 2020 E. 3.2 mit Hinweisen; vgl. ferner Urteil 4A_104/2021 vom 3. Mai 2021 E. 2.3 mit Hinweis, wonach Prozesshandlungen nach Treu und Glauben auszulegen sind). In ihrer Verwaltungsgerichtsbeschwerde führten sie denn auch konkret aus, der Medienmitteilung habe ein Stadtratsbeschluss zu Grunde gelegen und es sei sämtlichen Mitgliedern des Stadtrats bewusst gewesen, dass die Umnutzung ohne vorgängig durchgeführtes Baubewilligungsverfahren beschlossen worden sei. Darin liegt keine unzulässige pauschale Ablehnung. Inwiefern das Gesuch in Bezug auf die einzelnen Stadtratsmitglieder hätte individualisiert werden können, nachdem die Beschwerdeführerinnen davon ausgingen, derselbe Grund treffe gleicherweise auf alle fünf zu, ist nicht erkennbar. Würde verlangt, dass sie der Reihe nach gegen sämtliche Mitglieder ein separates Ausstandsgesuch stellen und gegebenenfalls daraufhin den Rechtsmittelweg beschreiten, käme dies zudem einem prozessualen Leerlauf gleich.
3.8. Die Zuständigkeit der Finanzdirektorin zur Behandlung des Ausstandsgesuchs findet somit in §§ 15 f. VRG keine Grundlage. Die gegenteilige Auffassung des Kantonsgerichts ist offensichtlich unhaltbar und damit willkürlich.
4.
Die Beschwerde ist aus diesen Erwägungen teilweise gutzuheissen, soweit darauf einzutreten ist, und der angefochtene Entscheid aufzuheben. Da es nicht Sache des Bundesgerichts ist, anstelle des Kantonsgerichts in freier Auslegung von § 16 VRG die zur Behandlung des Ausstandsgesuchs zuständige Behörde zu bestimmen, ist die Sache zu diesem Zweck an das Kantonsgericht zurückzuweisen. Falls dieses zum Schluss kommt, dass gestützt auf die von ihm bisher verneinte Anwendbarkeit von § 16 VRG das JSD zuständig ist, wird es die gegen dessen Entscheid vom 4. September 2020 gerichtete Verwaltungsgerichtsbeschwerde inhaltlich behandeln müssen. Andernfalls hat es die Sache an die von ihm zur Behandlung des Ausstandsgesuchs erstinstanzlich als zuständig erachtete Behörde weiterzuverweisen. Soweit die Beschwerdeführerinnen die Rückweisung an das JSD verlangen, ist ihre Beschwerde somit abzuweisen.
Bei diesem Ausgang des Verfahrens sind die Beschwerdeführerinnen als obsiegend zu betrachten. Es werden keine Gerichtskosten erhoben (Art. 66 Abs. 4 BGG). Der Kanton Luzern hat die nicht anwaltlich, aber qualifiziert vertretenen Beschwerdeführerinnen für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 BGG und Art. 9 des Reglements vom 31. März 2006 über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht [SR 173.110.210.3]).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und das Urteil des Kantonsgerichts Luzern vom 8. Januar 2021 aufgehoben. Die Sache wird zur weiteren Behandlung im Sinne der Erwägungen an das Kantonsgericht zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Luzern hat die Beschwerdeführerinnen für das bundesgerichtliche Verfahren mit Fr. 1'000.-- zu entschädigen.
4.
Dieses Urteil wird den Beschwerdeführerinnen, dem Justiz- und Sicherheitsdepartement des Kantons Luzern, dem Kantonsgericht Luzern, 4. Abteilung, und der Stadt Luzern schriftlich mitgeteilt.
Lausanne, 16. August 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold