Sachverhalt:
A. Mit Meldung vom 6. April 2009 ersuchten die Behörden der UNMIK (United Nations Mission in Kosovo) die schweizerischen Behörden um Festnahme von X._ zwecks Auslieferung an die Republik Kosovo. Mit Haftbefehl vom 28. März 2010 versetzte das Bundesamt für Justiz (BJ) den Verfolgten in Auslieferungshaft.
B. Am 8. April 2010 ersuchte das kosovarische Justizministerium (gestützt auf einen Haftbefehl des Bezirksgerichtes Prizren vom 17. August 2007) die schweizerischen Behörden um Auslieferung des Verfolgten (u.a. wegen Beteiligung an einem Tötungsdelikt). Das Ersuchen wurde am 30. August 2010 ergänzt.
C. Mit Verfügung vom 7. Oktober 2010 bewilligte das BJ die Auslieferung des Verfolgten an die Republik Kosovo, unter Vorbehalt des Entscheides des Bundesstrafgerichtes über die Einrede des politischen Delikts.
D. Eine vom Verfolgten gegen den Auslieferungsentscheid des BJ gerichtete Beschwerde entschied das Bundesstrafgericht, II. Beschwerdekammer, am 4. April 2011 abschlägig. Gleichzeitig wies es die Einrede des politischen Deliktes ab.
E. Gegen den Entscheid des Bundesstrafgerichtes gelangte X._ mit Beschwerde vom 15. April 2011 an das Bundesgericht. Er beantragt zur Hauptsache die Aufhebung des angefochtenen Entscheides und die Abweisung des Auslieferungsersuchens.
Das BJ beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könnte. Das Bundesstrafgericht hat auf Stellungnahme verzichtet. Der Beschwerdeführer replizierte am 23. Mai 2011.

Erwägungen:
1. Gemäss <ref-law> ist gegen einen Entscheid auf dem Gebiet der internationalen Rechtshilfe in Strafsachen die Beschwerde in öffentlich-rechtlichen Angelegenheiten nur zulässig, wenn er eine Auslieferung, eine Beschlagnahme, eine Herausgabe von Gegenständen oder Vermögenswerten oder eine Übermittlung von Informationen aus dem Geheimbereich betrifft und es sich um einen besonders bedeutenden Fall handelt (Abs. 1). Ein besonders bedeutender Fall liegt insbesondere vor, wenn Gründe für die Annahme bestehen, dass elementare Verfahrensgrundsätze verletzt worden sind oder das Verfahren im Ausland schwere Mängel aufweist (Abs. 2).
1.1 Zwar geht es im vorliegenden Fall um ein Auslieferungsersuchen und damit um ein Sachgebiet, bei dem die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> insoweit möglich wäre. Zu prüfen ist jedoch zusätzlich, ob es sich hier um einen besonders bedeutenden Fall handelt.
1.2 <ref-law> bezweckt die wirksame Begrenzung des Zugangs zum Bundesgericht im Bereich der internationalen Rechtshilfe in Strafsachen. Bei der Beantwortung der Frage, ob ein besonders bedeutender Fall gegeben ist, steht dem Bundesgericht ein weiter Ermessensspielraum zu (<ref-ruling> E. 1.3.1 S. 160 mit Hinweis; vgl. auch <ref-ruling> E. 1.4 S. 128 f.; 129 E. 1 S. 130; 131 E. 2-3 S. 131 f.; 132 E. 1 S. 133 f.; 215 E. 1.2 S. 217 f.; 271 E. 2.2.2 S. 274). Auch bei Auslieferungen kann ein besonders bedeutender Fall nur ausnahmsweise angenommen werden. In der Regel stellen sich namentlich keine Rechtsfragen, die einer Klärung durch das Bundesgericht bedürfen (<ref-ruling> E. 1.3.4 S. 161). Auch der Begriff des schweren Mangels des ausländischen Verfahrens ist restriktiv auszulegen (<ref-ruling> E. 3 S. 132; 271 E. 2.2.2 S. 274). Das blosse Vorbringen des Rechtsuchenden, die Behörden hätten sein rechtliches Gehör oder andere elementare Verfahrensgrundsätze verletzt, lässt einen Rechtshilfefall ebenfalls nicht als besonders bedeutend erscheinen. Vielmehr müssen dafür ernsthafte Anhaltspunkte objektiv vorliegen (vgl. Urteil 1C_211/2010 vom 25. Mai 2010 E. 4).
1.3 Nach <ref-law> entscheidet die Abteilung in Dreierbesetzung über Nichteintreten auf eine Beschwerde, wenn kein besonders bedeutender Fall vorliegt (Abs. 1). Der Entscheid wird summarisch begründet (Abs. 3; zum vereinfachten Verfahren nach Art. 109 i.V.m. Art. 84 und Art. 107 Abs. 3 BGG vgl. <ref-ruling> ff.).
2. Der Beschwerdeführer macht geltend, es liege ein besonders bedeutender Fall vor, da Gründe für die Annahme bestünden, dass das Verfahren im Ausland schwere Mängel aufweise. Ausserdem sei ihm im Rechtshilfeverfahren das umfassende rechtliche Gehör bzw. die Akteneinsicht verweigert worden. Zur Begründung verweist der Beschwerdeführer auf seine materiellen Vorbringen. Darin wiederholt er im Wesentlichen (und praktisch identisch) seine Argumente aus der Beschwerdeschrift an das Bundesstrafgericht. Es kann offen bleiben, ob die Beschwerde insofern den spezifischen Substanziierungserfordernissen (von <ref-law>) im Rechtshilfeverfahren genügt.
2.1 Der Beschwerdeführer beanstandet, dass die Vorinstanz seiner Sachdarstellung und seiner rechtlichen Argumentation nicht gefolgt ist. Ausserdem verweist er darauf, dass das BJ eine als "vertraulich" eingestufte Stellungnahme des EDA vom 29. Juli 2010 (zu Menschenrechtsgarantien seitens der Republik Kosovo) eingeholt habe. Er macht geltend, der Bericht des EDA sei ihm "nicht zur Einsichtnahme zugestellt" worden.
2.1.1 Für eine Verletzung des rechtlichen Gehörs im Auslieferungsverfahren bestehen keine Anhaltspunkte: Wie sich aus den Akten ergibt, wurde die fragliche Stellungnahme des EDA in der Schlussverfügung des BJ vom 7. Oktober 2010 ausdrücklich erwähnt und inhaltlich zusammengefasst. In seiner Beschwerdeschrift vom 4. November 2010 an das Bundesstrafgericht rügte der Beschwerdeführer nicht, das BJ habe ihm die Einsicht in den Bericht des EDA verweigert. Im Gegenteil verwies er selber ausdrücklich auf den Bericht des EDA vom 29. Juli 2010, ohne irgendwelche Beanstandungen betreffend rechtliches Gehör zu erheben oder ein Akteneinsichtsgesuch zu stellen. Ebenso wenig ist aus den Akten ersichtlich, dass der Beschwerdeführer im Verfahren vor dem Bundesstrafgericht einen entsprechenden separaten Akteneinsichtsantrag gestellt hätte, der abgewiesen worden wäre.
2.1.2 Es kann offen bleiben, ob sich aus <ref-law> in diesem Zusammenhang noch ein zusätzliches Sachurteilshindernis ergeben würde.
2.1.3 Dass die Vorinstanz den rechtlichen und tatsächlichen Vorbringen des Beschwerdeführers inhaltlich (mit ausführlicher Begründung) nicht gefolgt ist, stellt ebenfalls keine Verletzung des rechtlichen Gehörs dar (vgl. <ref-ruling> E. 2.16 S. 79).
2.2 Aus den Vorbringen in der Beschwerdeschrift und den vorliegenden Akten ergeben sich auch keine Anhaltspunkte für schwere Mängel des in Kosovo (bzw. durch die Behörden der UNMIK) durchgeführten Verfahrens. Diesbezüglich kann auf die Erwägungen der Vorinstanz verwiesen werden. Der angefochtene Entscheid stützt sich auf die einschlägigen Normen des Auslieferungsrechtes und die betreffende Bundesgerichtspraxis, auf die zurückzukommen im vorliegenden Fall kein Anlass besteht.
3. Auf die Beschwerde ist (gestützt auf Art. 84 i.V.m. <ref-law>) nicht einzutreten.
Der Beschwerdeführer beantragt die unentgeltliche Prozessführung und Rechtsverbeiständung. Da die gesetzlichen Voraussetzungen beim amtlich verbeiständeten Gesuchsteller erfüllt erscheinen, kann dem Begehren entsprochen werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen:
2.1 Es werden keine Gerichtskosten erhoben.
2.2 Dem Rechtsbeistand des Beschwerdeführers, Rechtsanwalt Daniel Christen, wird für das Verfahren vor Bundesgericht aus der Bundesgerichtskasse eine Entschädigung von Fr. 1'500.-- ausgerichtet.
3. Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Justiz und dem Bundesstrafgericht, II. Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 24. Mai 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Forster