Sachverhalt:
A. Der aus dem Kosovo stammende X._, geb. 1981, gelangte am 19. November 1994 im Rahmen des Familiennachzugs in die Schweiz, wo er in die Niederlassungsbewilligung seines Vaters einbezogen wurde.
Mit Urteil vom 13. Dezember 2007 verurteilte das Kriminalgericht des Kantons Luzern X._ wegen mehrfacher Widerhandlung gegen das Betäubungsmittelgesetz, Verstoss gegen ausländerrechtliche Bestimmungen, Widerhandlung gegen das Waffengesetz und Hehlerei zu einer Freiheitsstrafe von zwei Jahren und neun Monaten, wovon zwölf Monate unbedingt und 21 Monate bedingt vollziehbar bei einer Probezeit von zwei Jahren. In der Folge verbüsste X._ die unbedingt ausgesprochene Haftdauer in Halbgefangenschaft.
Am 22. März 2008 kam das Kind Y._ zur Welt, das X._ als seinen Sohn anerkannte. Am 28. Mai 2009 heiratete er dessen ebenfalls aus dem Kosovo stammende Mutter Z._, geb. 1987, die im Alter von vier Jahren in die Schweiz gelangt war und auch über die Niederlassungsbewilligung verfügt.
B. Mit Verfügung vom 30. Juli 2009 widerrief das Amt für Migration des Kantons Luzern die Niederlassungsbewilligung von X._ und wies ihn aus der Schweiz weg. Am 25. Januar 2010 wies das Justiz- und Sicherheitsdepartement (JSD) des Kantons Luzern eine dagegen erhobene Verwaltungsbeschwerde ab. Mit Urteil vom 2. November 2010 wies auch das Verwaltungsgericht des Kantons Luzern eine bei ihm erhobene Verwaltungsgerichtsbeschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 7. Dezember 2010 an das Bundesgericht beantragt X._, das Urteil des Verwaltungsgerichts vom 2. November 2010 aufzuheben. Zur Begründung beruft er sich im Wesentlichen darauf, der Ausweisungsentscheid sei unverhältnismässig und verstosse gegen Art. 8 EMRK bzw. <ref-law>. Überdies ersuchte X._ um Erteilung der aufschiebenden Wirkung
D. Das Verwaltungsgericht und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Amt für Migration und das Justiz- und Sicherheitsdepartement des Kantons Luzern haben dem Bundesgericht innert Frist keine Vernehmlassung eingereicht.
E. Mit Verfügung vom 14. Dezember 2010 erteilte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung.

Erwägungen:
1. 1.1 Gegen den angefochtenen kantonal letztinstanzlichen Endentscheid über den Widerruf der Niederlassungsbewilligung des Beschwerdeführers ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig (vgl. <ref-ruling> E. 1.2.1 S. 4). Der Beschwerdeführer ist vom angefochtenen Entscheid unmittelbar betroffen und daher zur Beschwerde legitimiert (vgl. <ref-law>).
1.2 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde, es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer wesentlichen Rechtsverletzung (im Sinne von <ref-law>; vgl. Art. 105 in Verbindung mit <ref-law>). Solche Gründe für ein Abweichen von den vorinstanzlichen Sachverhaltsfeststellungen bestehen im vorliegenden Fall nicht.
1.3 Im bundesgerichtlichen Verfahren dürfen neue Tatsachen und Beweisgründe nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Die vom Beschwerdeführer angerufenen späteren Umstände, insbesondere die geltend gemachte Geburt eines zweiten Kindes und der nachträglich dazu eingereichte Auszug aus dem Geburtsregister, sind daher als unzulässige echte Noven unbeachtlich.
2. 2.1 Nach Art. 63 Abs. 1 lit. a AuG in Verbindung mit Art. 62 lit. b AuG kann die Niederlassungsbewilligung widerrufen werden, wenn ein Ausländer zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Als solche gilt eine Freiheitsstrafe, wenn ihre Dauer ein Jahr überschreitet (vgl. <ref-ruling> E. 4.2 S. 379 ff.). Der Beschwerdeführer anerkennt ausdrücklich, dass dieser Widerrufsgrund in seinem Fall erfüllt ist.
2.2 Der Widerruf der Niederlassungsbewilligung rechtfertigt sich nur, wenn er sich aufgrund der im Einzelfall vorzunehmenden Interessenabwägung als verhältnismässig erweist (vgl. Art. 96 Abs. 1 AuG). Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (<ref-ruling> E. 4.3 S. 381). Analoge Kriterien ergeben sich aus Art. 8 Ziff. 2 EMRK bzw. Art. 13 in Verbindung mit <ref-law>. Mit Blick auf das gefestigte Anwesenheitsrecht seiner niedergelassenen Ehefrau und seines Sohnes kann sich der Beschwerdeführer auf diese grundrechtlichen Bestimmungen berufen (vgl. <ref-ruling> E. 1.3.2 und E. 2 S. 146 ff., 153 E. 2 S. 154 ff.; je mit Hinweisen).
3. 3.1 Der Beschwerdeführer wurde wegen verschiedener Delikte verurteilt. Dabei handelte es sich um den mehrfachen Kauf von insgesamt rund 1'200 Gramm Heroingemisch mit einem Reinheitsgehalt von 14 %, den mehrfachen Verkauf von insgesamt rund 700 Gramm Heroingemisch, den Besitz weiterer zum Verkauf bestimmter rund 477 Gramm Heroingemisch sowie den mehrfachen Kauf von insgesamt mehr als 60 Gramm Kokaingemisch und den Verkauf von 2 Gramm sowie den Besitz weiterer zum Verkauf bestimmter rund 57 Gramm Kokaingemisch. Hinzu kommen Verstösse gegen das Ausländerrecht, insbesondere wegen Erleichterung des illegalen Aufenthalts, und - wegen unzulässigen Besitzes eines Sturmgewehrs - gegen das Waffengesetz. Verurteilt wurde der Beschwerdeführer schliesslich auch wegen Hehlerei. Das Kriminalgericht beurteilte diese Delikte, vor allem die Beteiligung am Drogenhandel, als schwer und schrieb dem Beschwerdeführer eine erhebliche kriminelle Energie zu. Dieser war nicht drogensüchtig und handelte aus rein finanziellen Interessen. Durch seinen Betäubungsmittelhandel gefährdete er eine Vielzahl von Menschen aus rein egoistischem Antrieb. Auch die ausgesprochene Freiheitsstrafe von insgesamt zwei Jahren und neun Monaten belegt die Schwere der Delikte. Damit bestehen erhebliche öffentliche Interessen, dem Beschwerdeführer die weitere Anwesenheit in der Schweiz zu verweigern. Gerade bei Drogenhandel rechtfertigt sich eine ausländerrechtliche Strenge (vgl. <ref-ruling> E. 2c S. 436 f.), zumal wenn wie hier keine besonderen Umstände vorhanden sind, die wie eigene Drogenabhängigkeit allenfalls zur teilweisen Entlastung des Täters gewürdigt werden können. Daran ändert auch nichts, dass der Beschwerdeführer noch nie ausländerrechtlich verwarnt worden ist. Eine solche Verwarnung kann zwar aus Gründen der Verhältnismässigkeit geboten sein (vgl. Art. 96 Abs. 2 AuG), in welchem Fall die direkte Anordnung des Bewilligungswiderrufs ausgeschlossen ist. Vorliegend setzt der Widerruf der Bewilligung angesichts der Schwere der begangenen Delikte aber nicht voraus, dass der Beschwerdeführer bereits einmal verwarnt worden wäre.
3.2 Der Beschwerdeführer reiste 1994 im Alter von 13 Jahren in die Schweiz ein und hielt sich zum Zeitpunkt seiner Straftaten rund elf Jahre hier auf. Heute erreicht die Dauer der Anwesenheit rund 17 Jahre. Diese Anwesenheitsdauer ist nicht unbedeutend. Je länger ein Ausländer in der Schweiz anwesend war, desto strengere Anforderungen sind grundsätzlich an den Bewilligungswiderruf zu stellen (vgl. <ref-ruling> E. 2c S. 436). Die Situation des Beschwerdeführers ist aber nicht vergleichbar mit einem Ausländer, der hier geboren wurde oder bereits im Kleinkindesalter einreiste (dazu etwa das Urteil des Europäischen Gerichtshofes für Menschenrechte Khan gegen UK vom 12. Januar 2010, Nr. 47486/06), verbrachte er doch immerhin seine Kindheit und den ersten Teil seiner Jugend in der Heimat. Er kennt die dortigen Verhältnisse noch aufgrund seiner früheren Erfahrungen, aber auch durch wiederholte Ferienaufenthalte. Dass gar keine sozialen, kulturellen oder familiären Bindungen bestehen würden, wird weder geltend gemacht, noch ist dies ersichtlich. Der Beschwerdeführer war meist berufstätig; wegen der häufigen Wechsel und einer zwischenzeitlichen Arbeitslosigkeit ging die Vorinstanz aber mit Grund davon aus, dass er beruflich nicht überdurchschnittlich gut integriert ist, obwohl das gegenwärtige Arbeitsverhältnis gesichert zu sein scheint. Der Beschwerdeführer hat offene Schulden und hängige Betreibungen; gemäss den Feststellungen des Verwaltungsgerichts ist er aber auf gutem Weg, zumindest die finanziellen Schwierigkeiten in den Griff zu bekommen. In beruflicher Hinsicht könnte eine zwangsweise Rückkehr in seine Heimat für den Beschwerdeführer nicht einfach sein; allerdings ist er noch jung und sollte sich daher durchaus an die dortigen Gegebenheiten anpassen können.
3.3 Der Beschwerdeführer hat eine Ehefrau und gemeinsamen Nachwuchs mit Niederlassungsbewilligung in der Schweiz. Aus prozessualen Gründen (vgl. E. 1.3) ist hier grundsätzlich einzig auf den erstgeborenen Sohn einzugehen, dem als Kleinkind eine Ausreise in die Heimat der Eltern ohne weiteres zugemutet werden kann. Nur ergänzend und ohne umfassende Prüfung ist zu erwähnen, dass es auch nicht ohne weiteres ersichtlich wäre, weshalb es sich beim zweiten Kind insofern anders verhalten sollte. Schwieriger wäre eine Ausreise für die Ehefrau, verbrachte sie doch fast ihr ganzes Leben in der Schweiz und lebt ihre elterliche Familie, soweit bekannt, ebenfalls hier. Auch sind ihre wirtschaftlichen Aussichten in der Schweiz vermutlich besser als in ihrer Heimat. Indessen ist auch sie dort geboren und hat sie dieselbe Staatsangehörigkeit wie der Beschwerdeführer. Überdies war sie zumindest mit ihm zusammen schon mehrmals in der gemeinsamen Heimat zu Besuch. Entscheidend ist jedoch, dass sie den Beschwerdeführer erst geheiratet hat, als dieser sich im Strafvollzug befand und ihm bereits behördlich eröffnet worden war, der Widerruf der Niederlassungsbewilligung werde in Erwägung gezogen. Unter diesen Umständen konnte die Ehefrau nicht davon ausgehen, die eheliche Gemeinschaft in der Schweiz leben zu können.
3.4 Wie die Ehegatten damit umgehen werden, ist offen. Dies gilt insbesondere dafür, ob es der Ehefrau aufgrund der heimatlichen gesellschaftlichen Sitten verunmöglicht sein sollte, getrennt vom Ehemann in der Schweiz zu bleiben, wie die Vorinstanz annimmt. Immerhin ist die Ehegattin hier aufgewachsen und es leben weitere Familienangehörige von ihr, wie ihre Eltern und Geschwister, ebenfalls in der Schweiz. Selbst das Verwaltungsgericht weist ergänzend auf die Möglichkeit hin, bei einer allfälligen Ausreise darum zu ersuchen, die Niederlassungsbewilligung für bis zu vier Jahre aufrechtzuerhalten (vgl. Art. 61 Abs. 2 letzter Satz AuG), um im Bedarfsfall wieder in die Schweiz zurückkehren zu können. Die Vorinstanz schliesst damit ein Getrenntleben der Familie doch nicht gänzlich aus. Auch der Beschwerdeführer macht vor Bundesgericht geltend, seine Familie würde ihm nicht in die Heimat folgen und werde daher durch den angefochtenen Entscheid auseinander gerissen. So oder so gibt aber den Ausschlag, dass die Ehefrau bei der Eheschliessung wissen musste, dass dem Beschwerdeführer der weitere Aufenthalt in der Schweiz höchstwahrscheinlich nicht mehr gestattet würde.
3.5 Insgesamt überwiegen die öffentlichen Interessen am Widerruf der Niederlassungsbewilligung demnach die entgegenstehenden privaten Interessen des Beschwerdeführers. Die entsprechenden Auswirkungen mögen ihn und seine Familie zwar hart treffen; sie sind aber einzig die Folge seiner schweren Straffälligkeit.
4. Die Beschwerde erweist sich als unbegründet und ist abzuweisen. Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Amt für Migration und dem Justiz- und Sicherheitsdepartement des Kantons Luzern, dem Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 7. Juni 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Uebersax