Sachverhalt:
A.
Die albanischen Strafverfolgungsbehörden führen gegen A._ ein Strafverfahren wegen eines am 30. August 2005 in Albanien begangenen Mordes. Interpol Tirana ersuchte mit Meldung vom 3. November 2009 um seine Verhaftung. Am 13. August 2010 reiste er in die Schweiz ein und erhielt hier am 14. Januar 2011 Asyl. Am 9. September 2011 wurde er auf Haftanordnung des Bundesamts für Justiz (BJ) im Kanton Schwyz festgenommen und in provisorische Auslieferungshaft versetzt. Bei seiner Einvernahme erklärte er, die serbische und kosovarische Staatsbürgerschaft zu besitzen. Mit der Auslieferung sei er nicht einverstanden. In der Folge verfügte das BJ die provisorische Haftentlassung unter Auflagen.
Mit Note vom 23. September 2011 stellte Albanien ein Auslieferungsersuchen. Das BJ verlangte daraufhin von den albanischen Behörden verschiedene Zusicherungen. Diese betrafen unter anderem Verfahrensgarantien, das Verbot von Ausnahmegerichten und der Todesstrafe, den Schutz der physischen und psychischen Integrität, das Besuchsrecht von Vertretern der Schweiz sowie die Haftbedingungen. Die albanische Botschaft übermittelte dem BJ verschiedene Zusicherungen des albanischen Justizministeriums, welche das BJ jedoch als unzureichend erachtete. Auf eine entsprechende Aufforderung hin ergänzte sie das albanische Justizministerium. Da die Zusicherungen den Anforderungen des BJ in Bezug auf das Besuchsrecht erneut nicht entsprachen, forderte das BJ die albanischen Behörden auf, die folgenden Garantien in ausdrücklicher und wortgetreuer Form abzugeben:
"Toute personne représentant la Suisse en République d'Albanie pourra rendre visite à la personne extradée. En outre M. A._ pourra en tout temps s'adresser au représentant suisse en Albanie. Ces rencontres ne feront l'objet d'aucune mesure de contrôle, même visuel."
Wiederum ergänzten die albanischen Behörden die abgegebenen Zusicherungen und wiederum machte sie das BJ darauf aufmerksam, dass diese dem Verlangten nicht entsprächen. Schliesslich gab das albanische Justizministerium folgende Erklärung ab:
"Toute personne, représentant la Suisse en Albanie pourra rendre visite à la personne extradée. Ces rencontres ne feront l'objet d'aucune mesure de contrôle, même visuel."
Mit Schreiben vom 4. Juni und 18. Juli 2013 teilte die Staatsanwaltschaft des Kantons Schwyz dem BJ mit, dass sich A._ wegen des Verdachts auf Sexualdelikte mittlerweile in Untersuchungshaft befinde.
Das BJ bat die Direktion für Völkerrecht des Eidgenössischen Departements für Auswärtige Angelegenheiten um eine Einschätzung im Hinblick auf eine mögliche Auslieferung. A._ sei in verschiedenen Kriegsverbrecherprozessen als Zeuge aufgetreten und gehe davon aus, dass er bei einer Auslieferung nach Albanien vor Racheakten im Gefängnis nicht sicher wäre. Nach Eingang der Stellungnahme der Direktion für Völkerrecht bewilligte das BJ am 30. August 2013 die Auslieferung für die dem Auslieferungsersuchen vom 23. September 2011 zugrunde liegenden Straftaten.
A._ erhob gegen den Auslieferungsentscheid Beschwerde beim Bundesstrafgericht. Dieses hiess das Rechtsmittel teilweise gut und ergänzte den Auslieferungsentscheid mit folgendem Passus:
"Der Vollzug der Auslieferung wird von der Bedingung abhängig gemacht, dass die ersuchende Behörde die förmliche Garantieerklärung abgibt,
- dass durch geeignete Massnahmen der persönliche Schutz von A._ vor möglicher Vergeltung oder Einschüchterung durch Dritte innerhalb des Haftvollzugs in Albanien gewährleistet wird.
- dass A._ für den Fall einer bereits ausgesprochenen oder bevorstehenden Verurteilung das Recht zugesichert wird, ein neues Gerichtsverfahren zu verlangen, worin durch die EMRK und UNO-Pakt II garantierten Rechte gewährleistet werden."
Zur Begründung führte das Bundesstrafgericht aus, gemäss der Einschätzung der Direktion für Völkerrecht könne die Bereitschaft von A._, als Zeuge in einem Kriegsverbrecherprozess auszusagen, eine gewisse Gefährdung darstellen, und sei nicht auszuschliessen, dass sich das Wirkungsfeld krimineller Banden kosovo-albanischer Herkunft bis nach Albanien erstrecke. Von den albanischen Behörden sei deshalb die Zusicherung zu verlangen, dass sie Massnahmen zum Schutz von A._ vor Vergeltung oder Einschüchterung durch Dritte im Haftvollzug in Albanien ergreifen werden. Weiter lägen verschiedene Indizien vor, dass bereits ein Abwesenheitsurteil gefällt worden sei, auch wenn die vom Beschwerdeführer vorgelegten Online-Artikel und der Auszug von der Homepage des Obersten Gerichts in Albanien unterschiedliche Datumsangaben enthielten. Insgesamt rechtfertige es sich, ohne vorherige weitere Abklärungen eine Erklärung zu verlangen, wonach A._ im Falle einer bereits ergangenen Verurteilung ein neues Strafverfahren beantragen könne.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 20. Juni 2014 beantragt das BJ im Wesentlichen die Aufhebung folgender Teile des Entscheids des Bundesstrafgerichts: Dispositiv-Ziffer 1 (betreffend den Grundsatz der teilweisen Gutheissung), Dispositiv-Ziffer 2 (betreffend die Ergänzung des Auslieferungsentscheids) und Dispositiv-Ziffer 5 (betreffend die Parteientschädigung).
Das Bundesstrafgericht verweist in seiner Vernehmlassung auf die Begründung des angefochtenen Entscheids. Der Beschwerdegegner beantragt die Abweisung der Beschwerde und stellt zudem ein Gesuch um unentgeltliche Rechtspflege.

Erwägungen:
1.
1.1. Angefochten ist ein Endentscheid des Bundesstrafgerichts betreffend eine Auslieferung im Rahmen der internationalen Rechtshilfe in Strafsachen. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82 lit. a, Art. 86 Abs. 1 lit. b und Art. 90 BGG). Das BJ ist zur Beschwerde legitimiert (<ref-law> i.V.m. <ref-law> [SR 351.1]).
1.2. Gemäss <ref-law> ist gegen einen Entscheid auf dem Gebiet der internationalen Rechtshilfe in Strafsachen die Beschwerde nur zulässig, wenn er unter anderem eine Auslieferung betrifft und es sich um einen besonders bedeutenden Fall handelt (Abs. 1). Ein besonders bedeutender Fall liegt insbesondere vor, wenn Gründe für die Annahme bestehen, dass elementare Verfahrensgrundsätze verletzt worden sind oder das Verfahren im Ausland schwere Mängel aufweist (Abs. 2).
<ref-law> bezweckt die wirksame Begrenzung des Zugangs zum Bundesgericht im Bereich der internationalen Rechtshilfe in Strafsachen (<ref-ruling> E. 1.3.1 S. 160 mit Hinweisen). Ein besonders bedeutender Fall ist mit Zurückhaltung anzunehmen (<ref-ruling> E. 2.4 S. 144 mit Hinweis).
Ein besonders bedeutender Fall kann auch bei einer Auslieferung nur ausnahmsweise angenommen werden. In der Regel stellen sich insoweit keine Rechtsfragen, die der Klärung durch das Bundesgericht bedürfen, und kommt den Fällen auch sonst wie keine besondere Tragweite zu (<ref-ruling> E. 1.3.4 S. 161).
Bei der Beantwortung der Frage, ob ein besonders bedeutender Fall gegeben ist, steht dem Bundesgericht ein weiter Ermessensspielraum zu (<ref-ruling> E. 1.3.1 S. 160 mit Hinweis).
Nach <ref-law> entscheidet die Abteilung in Dreierbesetzung über Nichteintreten auf Beschwerden, bei denen kein besonders bedeutender Fall vorliegt (Abs. 1). Der Entscheid wird summarisch begründet. Es kann ganz oder teilweise auf den angefochtenen Entscheid verwiesen werden (Abs. 3).
1.3. Zwar geht es um eine Auslieferung und damit ein Sachgebiet, bei dem die Beschwerde nach <ref-law> insoweit möglich ist. Es handelt sich jedoch um keinen besonders bedeutenden Fall.
Der Beschwerdeführer beanstandet die Einschätzung des Bundesstrafgerichts betreffend die Gefährdung des Beschwerdegegners durch Dritte nicht und geht selbst davon aus, es bestehe eine spezielle Gefährdungslage. Er ist lediglich der Auffassung, Albanien habe bereits eine Garantie abgegeben, die sich auf Art. 3 EMRK stütze und deshalb den Schutz des Inhaftierten vor allfälligen Racheakten Dritter mitumfasse. Die betreffende Garantie bezieht sich indessen nur in allgemeiner Weise auf die Haftbedingungen und die medizinische Versorgung, nicht aber auf weitere Gewährleistungspflichten nach Art. 3 EMRK. Die Kritik des Beschwerdeführers ist insofern nicht stichhaltig.
Auch in Bezug auf die von Albanien verlangte Erklärung für den Fall einer bereits ausgesprochenen oder bevorstehenden Verurteilung erscheint der Fall nicht als besonders bedeutend. Der Beschwerdeführer bringt zwar vor, von einem Abwesenheitsurteil nichts zu wissen, hat aber offenbar auch keine Erkundigungen eingeholt. Die Darlegungen der Vorinstanz, wonach entsprechende Anzeichen bestehen, überzeugen. Darauf kann verwiesen werden (angefochtener Entscheid, E. 9). Zutreffend ist, wie der Beschwerdeführer vorbringt, dass die Schweiz vorliegend nicht um die Auslieferung zur Vollstreckung eines Abwesenheitsurteils im Sinne von Art. 3 des zweiten Zusatzprotokolls vom 17. März 1979 zum Europäischen Auslieferungsübereinkommen (SR 0.353.12) ersucht wurde. Dies ist aber nicht entscheidend. Die Vorinstanz stützt sich in ihren Erwägungen auf die Verfahrensgarantien von Art. 6 EMRK und Art. 14 UNO-Pakt II (SR 0.103.2; vgl. in diesem Zusammenhang das Urteil des Europäischen Gerichtshofs für Menschenrechte Kounov gegen Bulgarien vom 23. Mai 2006, Beschwerde-Nr. 24379/02, §§ 41 f.). Nach der Rechtsprechung des Bundesgerichts können diese Verfahrensgarantien auch im Rahmen des Europäischen Auslieferungsübereinkommens vom 13. Dezember 1957 (SR 0.353.1) das Einholen von diplomatischen Zusicherungen gebieten (vgl. etwa <ref-ruling> E. 6 und nicht publizierte E. 1.1). Es fehlt mithin nicht an einer Rechtsgrundlage, wie der Beschwerdeführer implizit annimmt.
Auch sonst ist der Fall nicht von aussergewöhnlicher Tragweite. Für das Bundesgericht besteht daher kein Anlass, die Sache an die Hand zu nehmen.
2.
Auf die Beschwerde ist nicht einzutreten.
Bei diesem Ausgang des Verfahrens sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Die schweizerische Eidgenossenschaft (das BJ) hat dem Beschwerdegegner eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG). Das Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege wird damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Gerichtskosten erhoben.
3.
Die schweizerische Eidgenossenschaft (Bundesamt für Justiz) hat dem Beschwerdegegner eine Parteientschädigung von Fr. 1'500.-- zu bezahlen.
4.
Dieses Urteil wird den Parteien und dem Bundesstrafgericht, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 31. Juli 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Dold