Sachverhalt:
A. Die aus Bosnien-Herzegowina stammende Y._ (geb. 1971) reiste am 6. Januar 1992 zwecks Stellenantritts in die Schweiz ein, wo sie eine Aufenthaltsbewilligung für den Kanton Luzern erhielt. Am 1. Januar 1993 reiste ihr Landsmann X._ (geb. 1971) ebenfalls in die Schweiz ein und heiratete sie. Im Sommer 1993 wurde ihm im Rahmen des Familiennachzugs eine letztmals bis zum 8. August 2007 verlängerte Aufenthaltsbewilligung erteilt. Ihrem ausserehelich geborenen Sohn A._ (geb. 1991) und ihren nach der Eheschliessung in der Schweiz geborenen Kindern B._ (geb. 1994) und C._ (geb. 1999) wurden ebenfalls Aufenthaltsbewilligungen erteilt, die - wie diejenige der Kindsmutter - bisher regelmässig verlängert wurden.
Am 31. Oktober 2007 lehnte das Amt für Migration des Kantons Luzern das Gesuch um Erteilung von Niederlassungsbewilligungen für sämtliche Familienangehörigen ab. Gleichzeitig verweigerte es die Erneuerung der Aufenthaltsbewilligung des Familienvaters X._ und wies ihn weg. Es warf ihm strafrechtliche Verurteilungen vor.
Der Entscheid über die Verweigerung der Niederlassungsbewilligung erwuchs in Rechtskraft. Gegen die Nichtverlängerung seiner Aufenthaltsbewilligung wandte sich X._ erfolglos an das Justiz- und Sicherheitsdepartement und an das Verwaltungsgericht des Kantons Luzern. Aufgrund einer verfahrensrechtlichen Besonderheit im Kanton Luzern und einer im Verlauf des Verfahrens in Kraft getretenen Rechtsänderung befasste sich das Verwaltungsgericht zweimal mit dem Begehren von X._ (s. auch den in dieser Sache ergangenen Nichteintretensentscheid des Bundesgerichts 2C_161/2009 vom 14. Juli 2009). In einem ersten Urteil vom 29. Januar 2009 befand das Verwaltungsgericht, dass X._ keinen Anspruch auf eine Bewilligung geltend machen könne. In einem späteren Urteil vom 6. April 2010 wies es das Rechtsmittel gegen den zwischenzeitlich ergangenen Beschwerdeentscheid des Justiz- und Sicherheitsdepartements vom 16. November 2009 ab, mit dem eine ermessensweise Verlängerung der Aufenthaltsbewilligung abgelehnt worden war.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 14. Mai 2010 beantragen die Eheleute X._ und Y._ und ihre drei Kinder A._, B._ und C._ dem Bundesgericht, beide Urteile des Verwaltungsgerichts vom 29. Januar 2009 und 6. April 2010 aufzuheben und X._ die Aufenthaltsbewilligung zu verlängern. Eventualiter sei festzustellen, dass X._ über ein gefestigtes Anwesenheitsrecht verfüge, und die Sache zur materiellen Beurteilung an das Verwaltungsgericht zurückzuweisen. Subeventualiter sei die Sache "zu weiteren Beweisabklärungen (insbesondere Anhörung der Kinder und Ehefrau)" an das Verwaltungsgericht zurückzuweisen.
Das Verwaltungsgericht beantragt, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Das Bundesamt für Migration stellt den Antrag, die Beschwerde abzuweisen. Das Amt für Migration sowie das Justiz- und Sicherheitsdepartement des Kantons Luzern haben sich nicht vernehmen lassen.
C. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 19. Mai 2010 antragsgemäss die aufschiebende Wirkung hinsichtlich der Ausreiseverpflichtung zuerkannt.
Erwägungen:
1. Wie schon in dem in dieser Sache ergangenen Nichteintretensentscheid des Bundesgerichts vom 14. Juli 2009 (2C_161/2009) dargelegt wurde, ist die Beschwerde unzulässig, soweit sie auch im Namen der Ehefrau und der Kinder als Beschwerdeführer 2 bis 5 erhoben worden ist. Weder haben sie am Verfahren bei der Vorinstanz als Partei teilgenommen noch waren sie hieran unverschuldet gehindert (Art. 89 Abs. 1 lit. a BGG). Ihr Hinweis auf die Erwägung 2.3.4 des Urteils des Bundesgerichts 2C_190/2008 vom 23. Juni 2008 geht fehl. Dort ging es nicht um das Beschwerderecht der Ehefrau und Kinder, sondern nur darum, ob sich der alleine beschwerdeführende Ehemann auf etwaige Ansprüche seiner Familienangehörigen berufen kann.
2. 2.1 Zwar steht Art. 93 BGG der Beschwerdeerhebung - im Gegensatz zum vorangegangenen bundesgerichtlichen Verfahren 2C_161/2009 - nicht mehr entgegen, da mit dem Urteil des Verwaltungsgerichts vom 6. April 2010 nunmehr ein kantonal letztinstanzlicher Endentscheid vorliegt. Im Rahmen der Beschwerde gegen dieses Urteil kann grundsätzlich auch der zuvor ergangene Zwischenentscheid des Verwaltungsgerichts vom 29. Januar 2009 mitangefochten werden (Art. 93 Abs. 3 BGG).
2.2 Wie die Beschwerdeführer richtig erkennen, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht jedoch nur zulässig, wenn sich der Familienvater (Beschwerdeführer 1) auf einen Anspruch auf Bewilligung des Aufenthalts im Sinne von Art. 83 lit. c Ziff. 2 BGG berufen kann.
Die Vorinstanz geht davon aus, dass der Beschwerdeführer 1 keinen Bewilligungsanspruch hat. Der Beschwerdeführer 1 räumt zu Recht ein, dass er keinen solchen Anspruch gemäss dem hier noch anwendbaren Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) hat, zumal auch seine Ehefrau nicht über eine Niederlassungsbewilligung verfügt (vgl. Art. 17 Abs. 2 ANAG [AS 1991 1034 1043]; s. zum Übergangsrecht Art. 126 AuG; SR 142.20). Aus dem Niederlassungs- und Konsularvertrag zwischen der Schweiz und Serbien vom 16. Februar 1888 (SR 0.142.118.181) können die Beschwerdeführer ebenso wenig einen Anspruch ableiten, da dieser Vertrag zum einen nicht für Bosnien-Herzegowina gilt und er zum anderen den Personen ohne bereits bestehende Niederlassungsbewilligung - nach aktuellem Verständnis - kein Aufenthaltsrecht verschafft (vgl. BGE 132 II 65 E. 2.3 S. 68 f. mit Hinweisen). Der Beschwerdeführer 1 ist aber der Auffassung, er könne sich auf einen Bewilligungsanspruch gestützt auf das Recht auf Achtung des Privat- und Familienlebens nach Art. 8 EMRK und Art. 13 Abs. 1 BV berufen.
3. Hiezu macht der Beschwerdeführer 1 zunächst geltend, er habe selbst ein gefestigtes Anwesenheitsrecht, aus dem er einen Bewilligungsanspruch ableiten könne.
3.1 Ein solches Recht kann sich in der Tat aus dem Schutz des Privatlebens ergeben. Nach der Rechtsprechung bedarf es hierfür aber besonders intensiver, über eine normale Integration hinausgehender privater Bindungen gesellschaftlicher oder beruflicher Natur bzw. entsprechender vertiefter sozialer Beziehungen zum ausserfamiliären Bereich (BGE 130 II 281 E. 3.2.1 S. 286 mit weiterführenden Hinweisen).
3.2 Der Beschwerdeführer 1 hält sich seit längerer Zeit (ununterbrochen seit 1993) in der Schweiz auf. Eine lange Anwesenheit und die damit verbundene normale Integration genügen indes nicht, um ein Anwesenheitsrecht zu begründen (vgl. erwähntes Urteil 2C_190/2008 E. 2.3.1 zu einem 25-jährigen Aufenthalt in der Schweiz). Dass der Beschwerdeführer 1 keine Verlustscheine hat, nie Fürsorge bezog und während seiner Arbeitslosigkeit die angeordneten Massnahmen befolgte, deutet nicht auf eine überdurchschnittliche Integration hin, sondern entspricht dem, was von jedem erwartet werden kann. Gegen eine überdurchschnittliche Integration spricht sodann, dass der Beschwerdeführer 1 wegen ausstehender Forderungen betrieben werden musste, auch wenn die entsprechenden Einträge inzwischen wieder gelöscht wurden. Zudem wechselte er öfters den Arbeitgeber (zehn Mal zwischen 1993 und 2007). Zwar waren diese den Arbeitszeugnissen zufolge in der Regel mit seinen Leistungen zufrieden. Dennoch konnte sich der Beschwerdeführer 1 nicht an einer Stelle länger halten oder regelmässig wieder eingestellt werden. Damit fehlt es an einer besonders intensiven Bindung beruflicher Art.
Soweit der Beschwerdeführer 1 auf eine Liste von Freunden und auf Schreiben von Bekannten verweist, fällt auf, dass die ganz überwiegende Anzahl der Unterzeichner aus dem ehemaligen Jugoslawien stammen. Neben den Vermietern und dem Hausarzt gibt es kaum weitere aus der Schweiz stammende Personen, die zu den "Freunden" des Beschwerdeführers 1 gezählt werden. Dieser hat ausserdem auch nicht behauptet, er habe sich sozial oder in Vereinen engagiert.
Hinzu kommt, dass gegen den Beschwerdeführer 1 zwischen 1997 und 2007 acht Strafverfügungen bzw. Strafbefehle und ein Strafurteil ergingen. Zwar handelt es sich der Vorinstanz zufolge bei den meisten Straftaten um geringfügige Delikte. Immerhin wurde er am 28. Februar 2005 wegen qualifizierter einfacher Körperverletzung zu einer Gefängnisstrafe von 16 Monaten bedingt verurteilt. Trotz dessen und trotz einer Verwarnung durch die kantonale Fremdenpolizei musste er in der Folge erneut wegen einfacher Körperverletzung (mit 120 Stunden gemeinnütziger Arbeit) bestraft werden. Nach der Verwarnung wurden zudem zwei weitere - wenn auch geringfügige - Bussen gegen den Beschwerdeführer 1 verhängt.
Demzufolge hat die Vorinstanz zu Recht eine überdurchschnittliche Integration des Beschwerdeführers 1 und damit ein eigenständiges Anwesenheitsrecht gestützt auf Art. 8 EMRK bzw. Art. 13 Abs. 1 BV verneint. Dass sich der Beschwerdeführer 1 nach seinen Verurteilungen wegen Körperverletzung diversen Therapien und Besprechungen unterzogen haben soll, ändert an dieser Beurteilung nichts, auch wenn er meint, ein solches Verhalten sei selbst bei gut integrierten Personen selten. Überdurchschnittlich integrierte Personen lassen sich wiederholte Verstösse gegen die Rechtsordnung von vornherein nicht zuschulden kommen. Im Übrigen ergibt sich aus den Akten, dass der Beschwerdeführer 1 insoweit vor allem gerichtlich angeordnete Pflichttermine wahrgenommen hat. Die Behandlungen setzte er erst nach der Nichtverlängerung der Aufenthaltsbewilligung und damit einige Zeit nach dem ihm vorgeworfenen Verhalten auf freiwilliger Basis fort. Das relativiert seinen diesbezüglichen Einwand zusätzlich.
3.3 Dem Dargelegten zufolge erübrigen sich - entgegen der Ansicht der Beschwerdeführer - weitere Sachverhaltsabklärungen zur Gewaltbereitschaft des Beschwerdeführers 1 und zu den Beziehungen zu Freunden und Verwandten in der Schweiz. Daher wurde gegen Art. 29 BV namentlich nicht dadurch verstossen, dass die Vorinstanz in antizipierter Beweiswürdigung darauf verzichtet hat, die Beschwerdeführer als Partei oder Zeugen persönlich anzuhören. Dieses Vorgehen steht auch mit dem Übereinkommen vom 20. November 1989 über die Rechte des Kindes (KRK; SR 0.107) im Einklang. Soweit es um den Verbleib der gesamten Familie in der Schweiz ging, konnten die Eltern den Standpunkt der Kinder hinreichend vertreten; ausserdem hatte sich die Tochter noch selber schriftlich geäussert (vgl. BGE 124 II 361 E. 3c S. 368). Schliesslich rügt der Beschwerdeführer 1, die Vorinstanz habe ihre Begründungspflicht nach Art. 29 Abs. 2 BV verletzt, indem sie sich nicht zur Verweigerung der angeblich beantragten Befragung von weiteren Verwandten und Freunden geäussert habe. Dieser Einwand geht schon deshalb fehl, weil nur um die Anhörung der Ehefrau und der Kinder ersucht worden war.
4. 4.1 Der Beschwerdeführer 1 beruft sich zusätzlich auf ein Anwesenheitsrecht seiner Ehefrau und der Kinder. Die Nichtverlängerung seiner Aufenthaltsbewilligung trifft auch diese Familienangehörigen bzw. wirkt sich auf deren familiäre Beziehungen aus. Zwar wurden die Aufenthaltsbewilligungen der Ehefrau und der Kinder - ungeachtet der gegen den Beschwerdeführer 1 verhängten Massnahme - bisher regelmässig verlängert. Sollte dieser als Familienvater die Schweiz verlassen müssen, könnten sie das gemeinsame Familienleben hier jedoch nicht mehr durch Zusammenwohnen fortsetzen. Dazu müssten sie dem Beschwerdeführer 1 ins Ausland bzw. in die Heimat folgen. Sollten sie in der Schweiz verbleiben wollen, könnten sie die Kontakte zum Familienvater namentlich durch gegenseitige Besuche pflegen.
Der Ehefrau und den teilweise in der Schweiz geborenen Kindern dürfte eine allfällige Rückkehr in die Heimat schwer fallen. Erstere war seit ihrer Ankunft in der Schweiz immer beim gleichen Arbeitgeber beschäftigt. Die Kinder gingen nur in der Schweiz zur Schule und haben abgesehen von Ferien- bzw. Besuchsaufenthalten nie in Bosnien-Herzegowina gelebt.
4.2 Die Ehefrau und die Kinder verfügen indes nicht über eine Niederlassungsbewilligung und haben darauf auch keinen Anspruch (vgl. Art. 4 und 17 ANAG sowie Art. 34 und 43 f. AuG). Ihre Bewilligungen wurden, ohne dass ein Rechtsanspruch bestand, im freien behördlichen Ermessen erteilt und verlängert. Die Beschwerdeführer konnten daher nicht ohne weiteres mit einer Erneuerung der befristeten Bewilligungen rechnen.
Die Ehefrau ist zudem in Bosnien-Herzegowina aufgewachsen und gelangte mit 21 Jahren in die Schweiz. Sie behielt auch Kontakte zur Heimat. Demnach ist sie mit den dortigen Verhältnissen vertraut. Die Beschwerdeführer meinen allerdings, dass dies für die Kinder nicht zutreffe. Im bereits zitierten Urteil 2C_190/2008 hatte das Bundesgericht festgehalten, es sei nicht eingewandt worden, dass die (minderjährigen) Kinder mit den Verhältnissen in der Heimat nicht vertraut seien. Dort schloss das Bundesgericht, dass den in der Schweiz geborenen 12, 16 und 17-jährigen Kindern eine allfällige Rückkehr in die Heimat zumutbar sei, wenn sie mit dem Vater zusammenwohnen möchten. Auf diesen Entscheid beziehen sich die Beschwerdeführer und machen geltend, bei ihnen sei eine davon abweichende Situation gegeben: Die Kinder seien mit den Verhältnissen in Bosnien-Herzegowina nicht vertraut. Sie legen jedoch nicht näher dar, warum es sich anders verhalten soll wie im soeben erwähnten Urteil. Unter anderem hatte der Beschwerdeführer 1 bis unlängst noch seine beiden Eltern und Geschwister in der Heimat. Sein Vater ist zwar inzwischen - während des laufenden ausländerrechtlichen Verfahrens - verstorben. Die Beschwerdeführer hatten aber immer Kontakte zur Familie in der Heimat aufrechterhalten, auch wenn das Verhältnis zu den dortigen Verwandten nicht immer zum Besten stand. Zudem setzt sich der Bekanntenkreis in der Schweiz vor allem aus Landsleuten zusammen. Zuhause wird die Sprache der gemeinsamen Heimat aller Beschwerdeführer praktiziert. Wohl ist nicht auszuschliessen, dass die Kinder die Schriftsprache nicht beherrschen. Ein Wechsel von einem Land in das andere durch Ausländer im Alter der Beschwerdeführer 3 bis 5 wird aber regelmässig als möglich und zumutbar erachtet, wenn es sich um die Übersiedlung aus dem Heimatland in die Schweiz handelt, ohne dass sie sich bereits in einer hiesigen Landessprache verständigen können. Daher erscheint auch eine umgekehrte Übersiedlung als zumutbar, wenn nicht besondere, erschwerende Umstände bestehen (vgl. erwähntes Urteil 2C_190/2008 E. 2.3.4 in fine). Solche Umstände machen die Beschwerdeführer vorliegend nicht geltend. Anders als in dem vom Bundesgericht in BGE 130 II 281 ff. beurteilten Fall, in welchem bereits die Eltern als Angehörige einer Volksminderheit nie in ihrem Heimatstaat gelebt hatten, ist es den Beschwerdeführern daher zumutbar, das Familienleben allenfalls in ihrer Heimat zu führen, wenn sie weiterhin zusammenwohnen wollen.
Da sich aus Art. 8 EMRK und Art. 13 BV weder ein Recht auf Einreise oder Aufenthalt in einem bestimmten Staat noch auf Wahl des für das Familienleben am geeignetsten erscheinenden Orts ergibt, ist der Anspruch auf Achtung des Familienlebens somit nicht berührt, wenn die Familie bei einer zumutbaren gemeinsamen Ausreise in das Heimatland nicht getrennt wird (BGE 126 II 377 E. 2b/cc S. 383; erwähntes Urteil 2C_190/2008 E. 2.3.5; s. auch BGE 122 II 289 E. 3b S. 297 mit Hinweisen). Demzufolge kann sich der Beschwerdeführer 1 nicht auf ein etwaiges Anwesenheitsrecht seiner Ehefrau und Kinder berufen (vgl. zudem in Bezug auf den inzwischen volljährigen ältesten Sohn BGE 120 Ib 257 E. 1d und e S. 260 ff.). Ob die Ehefrau und Kinder ein eigenes Anwesenheitsrecht aus dem Schutz des Privatlebens nach Art. 8 EMRK oder Art. 13 BV ableiten können, ist nicht mehr entscheidend, da es hier nicht um die Bewilligung ihres Aufenthaltes geht. Insoweit waren deshalb auch keine weiteren Sachverhaltsfeststellungen oder Beweiserhebungen angezeigt (vgl. zudem E. 3.3 hievor). Im Übrigen hatte der Beschwerdeführer 1 bei der Vorinstanz entgegen anders lautender Andeutungen keine diesbezüglichen Zeugenbefragungen beantragt.
5. Nach dem Dargelegten verfügt der Beschwerdeführer somit über keinen Anspruch auf Verlängerung seiner Bewilligung im Sinne von Art. 83 lit. c Ziff. 2 BGG, weshalb auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht eingetreten werden kann. Die Beschwerdeführer kritisieren die Praxis des Bundesgerichts zum Eintreten und weisen insoweit auf einen Entscheid des EGMR hin (i.S. Gül gegen Schweiz vom 19. Februar 1996, Rec. 1996, S. 159). Das Bundesgericht hat sich mit den diesbezüglichen Argumenten bereits befasst (vgl. BGE 130 II 281 E. 3.1 S. 285 mit Hinweisen). Es besteht kein Anlass, darauf zurückzukommen.
6. Die Eingabe kann daher höchstens als subsidiäre Verfassungsbeschwerde nach Art. 113 ff. BGG an die Hand genommen werden. Wegen fehlender Legitimation in der Sache selber (Art. 115 lit. b BGG) kann insoweit nur die Verletzung von Parteirechten geltend gemacht werden, deren Missachtung auf eine formelle Rechtsverweigerung hinausläuft. Doch auch diesbezüglich sind Rügen nicht zu hören, die im Ergebnis auf eine materielle Überprüfung des Bewilligungsentscheids abzielen, wie die Behauptung, dass die Begründung des angefochtenen Entscheids unvollständig oder zu wenig differenziert ausgefallen sei oder sich nicht mit sämtlichen von der Partei vorgetragenen Argumenten auseinandersetze oder dass die Parteivorbringen willkürlich gewürdigt worden seien. Ebenso wenig ist der Vorwurf zu hören, der Sachverhalt sei unvollständig, aktenwidrig oder sonstwie willkürlich festgestellt worden (sog. Star-Praxis; vgl. BGE 133 I 185; Urteil des Bundesgerichts 2D_13/2007 vom 14. März 2007 E. 2.2 und 2.3.1). Soweit hier überhaupt geeignete, gemäss Art. 116 f., Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG hinreichend substanziierte Rügen erhoben wurden, kann auf die Ausführungen in Erwägung 3.3 hievor verwiesen werden.
7. Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist nach dem Dargelegten nicht einzutreten. Soweit sie überhaupt als subsidiäre Verfassungsbeschwerde entgegengenommen werden kann, ist sie unbegründet. Bei diesem Ausgang haben die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens unter solidarischer Haftung zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird nicht eingetreten. Die subsidiäre Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 16. Dezember 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz