Erwägungen:
1. 1.1 Infolge Eheschliessung mit der Schweizer Bürgerin A._ (geb. 1978) erhielt der aus dem Kosovo stammende X._ (geb. 1977) ab dem Jahr 2000 eine Aufenthaltsbewilligung und im Juni 2006 die Niederlassungsbewilligung für den Kanton Bern. Die Eheleute haben drei gemeinsame Kinder (geb. 1998, 2004 und 2005). Am 3. Juli 2008 verurteilte das Tribunal de Police des Kantons Genf X._ wegen Widerhandlung gegen das Betäubungsmittelgesetz (Art. 19 Abs. 1 und 2 lit. a BetmG betreffend 682 Gramm Heroin) zu einer Freiheitsstrafe von zwei Jahren bedingt bei einer Probezeit von fünf Jahren; auf Berufung hin wurde das Urteil am 15. Dezember 2008 bestätigt. Sodann verurteilte ihn das Kreisgericht Thun am 14. November 2008 zu einer Freiheitsstrafe von zwei Jahren und vier Monaten - unter Aufschub einer Teilstrafe von 18 Monaten bei einer Probezeit von vier Jahren - wegen gewerbs- und bandenmässigen Diebstahls, Sachbeschädigung und Hausfriedensbruchs, Entwendung eines Motorfahrzeugs zum Gebrauch und Geldwäscherei. Alle erwähnten Delikte hatte X._ jeweils zusammen mit Landsleuten begangen. Auf die Verurteilungen gestützt widerrief das Amt für Migration und Personenstand des Kantons Bern am 15. September 2009 seine Niederlassungsbewilligung und wies ihn aus der Schweiz weg. Die dagegen bei der Polizei- und Militärdirektion sowie anschliessend beim Verwaltungsgericht des Kantons Bern erhobenen Rechtsmittel blieben erfolglos.
1.2 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 7. Oktober 2010 beantragt X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts vom 1. September 2010 aufzuheben und die Niederlassungsbewilligung nicht zu widerrufen.
Die Polizei- und Militärdirektion, das Verwaltungsgericht sowie das Bundesamt für Migration stellen den Antrag, die Beschwerde abzuweisen. Das Amt für Migration und Personenstand hat sich nicht geäussert. Am 15. Februar 2011 wies X._ das Bundesgericht darauf hin, dass zwischenzeitlich eines seiner Kinder einen Verkehrsunfall erlitten habe, was als Novum allerdings unberücksichtigt zu bleiben hat (Art. 99 Abs. 1 BGG).
1.3 Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 14. Oktober 2010 antragsgemäss die aufschiebende Wirkung hinsichtlich der Ausreiseverpflichtung zuerkannt.
2. Die Vorinstanz hat den vom Amt für Migration und Personenstand gemäss Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. b AuG (SR 142.20) verfügten Widerruf der Niederlassungsbewilligung bestätigt. Der Beschwerdeführer rügt, es fehle bereits an einem Widerrufsgrund (dazu nachfolgende E. 2.1). Auch sei der Widerruf unverhältnismässig, weil diverse Umstände nicht korrekt berücksichtigt worden seien (dazu nachfolgende E. 2.2 - 2.6).
2.1 Zunächst macht der Beschwerdeführer geltend, es liege bisher keine rechtskräftige Gesamt- bzw. Zusatzstrafe im Sinne von Art. 49 Abs. 1 und 2 StGB in Bezug auf seine beiden Verurteilungen vor. Die vom Kreisgericht Thun beurteilten Taten seien vor derjenigen, welche die Genfer Strafbehörden behandelt hätten, begangen worden. In Genf hätte er bloss mit einer Zusatzstrafe von vier bis acht Monaten, anstatt der Freiheitsstrafe von 24 Monaten rechnen müssen.
Wie es sich damit im Einzelnen verhält, kann hier offen gelassen werden. Denn der Beschwerdeführer wurde mindestens einmal rechtskräftig zu einer längerfristigen Freiheitsstrafe - d. h. von über einem Jahr (BGE 135 II 377 E. 4 S. 379 ff.) - verurteilt. Auch bei nachträglicher Bildung einer Gesamtstrafe (dazu Art. 344 Abs. 2 StGB; BGE 129 IV 113 E. 1.3 S. 116 ff.; Urteil des Bundesgerichts 6B_944/2008 vom 22. April 2009 E. 2.2) bliebe es weiterhin bei einer längerfristigen Freiheitsstrafe und damit bei der Erfüllung des erwähnten Widerrufsgrundes.
2.2 Die Vorinstanz geht - den Tatsachen entsprechend - von rechtskräftigen Verurteilungen zu Freiheitsstrafen von insgesamt über 52 Monaten aus, wobei die verhängten Strafen praxisgemäss den Ausgangspunkt der von ihr vorgenommenen Interessenabwägung bilden (vgl. BGE 129 II 215 E. 3.1 S. 216; Urteil 2C_295/2009 vom 25. September 2009 E. 5.3, nicht publ. in: BGE 135 II 377). Sie setzt nicht selbst nachträglich eine Gesamtstrafe fest. Hiezu wäre sie ohnehin nicht befugt. Der Beschwerdeführer behauptet zudem nicht, er hätte bei der zuständigen Stelle ein entsprechendes Gesuch gestellt. Auf die Übermittlung eines Strafregisterauszuges durch die Vorinstanz zwecks Stellungnahme reagierte der Beschwerdeführer denn auch nicht. Entscheidend ist aber letztlich, dass die Vorinstanz bei der Verhältnismässigkeitsprüfung auf das Gesamtverhalten des Beschwerdeführers abstellt. Selbst bei Festsetzung einer Gesamt- oder Zusatzstrafe bliebe es beim gleichen deliktischen Verhalten des Beschwerdeführers. Mithin geht das Vorbringen des Beschwerdeführers zur Gesamtstrafe auch in Bezug auf die Interessenabwägung fehl. Namentlich legt die Vorinstanz ihrem Entscheid - entgegen der Behauptung des Beschwerdeführers - diesbezüglich keinen falschen Sachverhalt zugrunde.
2.3 Soweit der Beschwerdeführer erklärt, seine Ehe habe zwar im Jahr 2010 eine Krise erlitten, diese sei aber bereits überwunden, ist ihm nicht zu folgen. Zum einen handelt es sich beim Vorbringen, die Ehekrise sei überwunden, um ein unzulässiges Novum (vgl. Art. 99 Abs. 1 und 105 Abs. 1 BGG; BGE 133 III 393 E. 3 S. 395; 133 IV 342 E. 2.1 S. 344 mit Hinweisen). Zum anderen hat die Vorinstanz namentlich unter Hinweis auf die Aussagen im Strafverfahren wegen häuslicher Gewalt dargetan, warum die Ehe - schon länger - nicht mehr als intakt zu bezeichnen ist. Dementsprechend hat der Beschwerdeführer im Herbst 2010 Ferien in seiner Heimat ohne seine Ehefrau verbracht.
2.4 Warum der Vorwurf der Vorinstanz, der Beschwerdeführer sei aus pekuniären Gründen straffällig geworden, aktenwidrig sein soll, legt der Beschwerdeführer nicht dar (vgl. Art. 97 und 105 BGG). Mit Blick auf die Strafurteile, die entsprechende Ausführungen enthalten, erweist sich die Feststellung der Vorinstanz vielmehr als zutreffend. Als aktenwidrig bezeichnet der Beschwerdeführer auch deren Schluss, bei ihm bestünde eine Rückfallgefahr. Zwar haben ihm die Strafbehörden teilweise den bedingten Aufschub des Vollzugs der Freiheitsstrafen nach Art. 42 f. StGB gewährt. Das Tribunal de Police des Kantons Genf wusste indes noch nichts Näheres von den Delikten, die zur späteren Verurteilung durch das Kreisgericht Thun führten (vgl. S. 11 des Urteils vom 3. Juli 2008). Letztgenanntes Gericht erwähnt das Genfer Verfahren, das sich im Zeitpunkt der Urteilsfällung noch im Berufungsstadium befand, überhaupt nicht. Die Strafgerichte gingen zudem von einer intakten Ehe und das Genfer Gericht sogar von einer absehbaren Wiederaufnahme einer Berufstätigkeit aus. Ausserdem schliessen die Strafgerichte bei Gewährung des bedingten Vollzugs nicht jegliche Rückfallgefahr aus; dieser Gesichtspunkt spielt sogar bei der Bestimmung der Dauer der Probezeit eine Rolle (BGE 95 IV 121 E. 1 S. 122; vgl. auch BGE 129 II 215 E. 3.2 und 7.4 S. 216 f. und 222 f; Urteil des Bundesgerichts 2C_394/2009 vom 11. Januar 2010 E. 2.3). Beim Beschwerdeführer wurde denn auch die Maximaldauer einer Probezeit angesetzt bzw. mit vier Jahren knapp darunter geblieben (vgl. Art. 44 Abs. 1 StGB). Deshalb ist der sachlich begründete Schluss der Vorinstanzen nicht zu beanstanden, beim Beschwerdeführer sei eine Rückfallgefahr und damit auch ein erhebliches Interesse an seiner Fernhaltung mit Blick auf die Gesamtumstände gegeben (u.a nicht mehr intaktes Familienleben; fortbestehende Erwerbslosigkeit; Gesamtschau aller Verurteilungen; erneutes Delinquieren trotz früherer Straferkenntnisse aus den Jahren 2000, 2003 und 2004, zweimaliger fremdenpolizeilicher Verwarnung, erstandener Untersuchungshaft im Jahr 2007 und hängigem Strafverfahren).
2.5 Der Beschwerdeführer beruft sich im Weiteren darauf, dass er im Jahr 2005 einen Verkehrsunfall wegen eines Schweizer "Geisterfahrers" erlitten habe, deswegen arbeitsunfähig sei und einer psychiatrischen Versorgung bedürfe, die in seiner Heimat nicht gewährleistet sei. Mit Letzterem widerspricht er einem vom Bundesamt für Migration zur Versorgungslage im Kosovo verfassten Bericht vom 18. Dezember 2009. Dieser sei "eher ein Gefälligkeitsbericht".
Den erwähnten Bericht hatte die Polizei- und Militärdirektion eingeholt und anschliessend dem Beschwerdeführer zur Stellungnahme überlassen. Dieser äusserte sich bei ihr nicht dazu. Erst vor dem Verwaltungsgericht erhob er diesbezügliche Kritik, ohne jedoch Beweismittel einzureichen und ohne in Abrede zu stellen, dass die im Bericht angeführten medizinischen Versorgungseinrichtungen bestehen. Sowohl vor Bundesgericht als auch vor dem Verwaltungsgericht macht er geltend, laut Amnesty International seien die meisten Angehörigen der Minderheiten im Kosovo vom Zugang zu medizinischer Versorgung ausgeschlossen. Der Beschwerdeführer ist jedoch Angehöriger der kosovarischen Mehrheit, weshalb der - auch im Bericht des Bundesamts - erwähnte Vorbehalt bei ihm nicht greift. Soweit er erstmals vor Bundesgericht auf diverse weitere Unterlagen verweist, sind diese Beweismittel teils als echte, teils als unechte Noven aus dem Recht zu weisen. Weder ist ersichtlich noch hat der Beschwerdeführer dargelegt, dass erst der angefochtene Entscheid dazu Anlass gegeben hat, entsprechende Beweismittel anzuführen (vgl. Art. 99 Abs. 1 und 105 Abs. 1 BGG; BGE 133 III 393 E. 3 S. 395; 135 I 143 E. 1.5 S. 146 f.; 133 IV 342 E. 2.1 S. 344 mit Hinweisen).
Der Beschwerdeführer bringt vor, die Schweiz habe Verantwortung zu übernehmen für seine durch den Verkehrsunfall "von einem Schweizer verursachte Invalidität". Dem hält die Vorinstanz zu Recht entgegen, er habe durch seine erhebliche Delinquenz selber den Widerrufsgrund gesetzt. Die infolge des Unfalls in seiner Heimat entstehenden Behandlungskosten und Verdienstausfälle kann er allenfalls bei der Motorfahrzeug-Haftpflichtversicherung des Unfallverursachers erstattet verlangen.
2.6 Der Beschwerdeführer beanstandet schliesslich, dass sich die Vorinstanzen auf zwei Bundesgerichtsurteile (BGE 114 Ib 1 und 135 II 377) beziehen, in denen die zur Ausreise verpflichteten Ausländer weniger lang in der Schweiz gelebt hätten als er. Er verschweigt aber, dass das Verwaltungsgericht auch noch viele andere Urteile zitiert. Zudem begründet es seine Verhältnismässigkeitsprüfung nicht durch einen blossen Hinweis auf die beiden erstgenannten Urteile. Vielmehr hat es die gebotene Interessenabwägung unter Bezugnahme auf die bundesgerichtliche Praxis, die je nach Situation Fernhaltemassnahmen auch bei Ausländern mit einem längeren Aufenthalt und Familienangehörigen in der Schweiz zulässt, sorgfältig und umfassend vorgenommen. Namentlich hat es die familiären, sozialen und kulturellen Banden des Beschwerdeführers zur Schweiz und zu seinem Herkunftsland berücksichtigt. Der Schluss, den Bewilligungswiderruf zu bestätigen, erweist sich bei Berücksichtigung der Gesamtumstände denn auch als bundesrechtmässig. Ergänzend wird auf die zutreffenden Ausführungen des Verwaltungsgerichts sowie der Polizei- und Militärdirektion verwiesen.
2.7 Die Beschwerde erweist sich nach dem Dargelegten als unbegründet und ist abzuweisen.
3. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht zugesprochen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 29. März 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz