Sachverhalt:
A. Im Juni 1998 reiste der irakische Staatsangehörige X._ (geb. 1966) illegal in die Schweiz ein und ersuchte um Asyl. Dieses Gesuch wurde am 24. Juli 2001 abgewiesen und X._ aufgefordert, die Schweiz zu verlassen. Die Schweizerische Asylrekurskommission bestätigte diesen Entscheid am 30. April 2002, worauf X._ eine neue Ausreisefrist angesetzt wurde. Die Behörden konnten die Wegweisung in den Irak nicht vollziehen.
Im Juli 2001 hatte sich X._ von seiner in der Heimat verbliebenen Ehefrau, mit der er einen ebenfalls im Irak lebenden Sohn hat, scheiden lassen. Im Juni 2004 heiratete er die türkische Staatsangehörige Y._ (geb. 1978), welche über eine Niederlassungsbewilligung im Kanton Thurgau verfügt. Die in der Folge für X._ beantragte Erteilung einer Aufenthaltsbewilligung lehnte das kantonale Migrationsamt am 9. September 2004 wegen fortgesetzter und erheblicher Fürsorgeabhängigkeit ab; gleichzeitig forderte es ihn auf, bis zum 9. Oktober 2004 auszureisen. Dieser Entscheid ist in Rechtskraft erwachsen. Dennoch blieb X._ in der Schweiz.
Mit Verfügung vom 24. Februar 2005 stellte das Bundesamt für Migration fest, dass in Abweichung von der Feststellung im Asylentscheid vom 24. Juli 2001 ein Vollzug der Wegweisung in den Irak wieder möglich sei. Es forderte X._ erneut vergeblich zur Ausreise innert Frist auf. Auf ein von ihm im April 2007 gestelltes Wiedererwägungsgesuch betreffend Asyl trat das Bundesamt mit Entscheid vom 17. Juli 2007 nicht ein. Dieser Entscheid blieb unangefochten.
B. Am 31. Oktober 2007 ersuchte X._ um Erteilung einer Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau und den inzwischen geborenen Kindern A._ (geb. 2005) und B._ (geb. 2007). Das Migrationsamt des Kantons Thurgau lehnte das Gesuch am 29. April 2009 ab. Das kantonale Departement für Justiz und Sicherheit sowie anschliessend das Verwaltungsgericht wiesen die dagegen erhobenen Rechtsmittel am 22. Dezember 2009 bzw. 16. Juni 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 30. August 2010 beantragt X._ dem Bundesgericht, das in dieser Sache im Kanton zuletzt ergangene Urteil des Verwaltungsgerichts vom 16. Juni 2010 aufzuheben und ihm eine Aufenthaltsbewilligung "im Rahmen der Bestimmungen über den Familiennachzug" zu erteilen. Eventualiter sei die Angelegenheit zu weiteren Abklärungen an die Vorinstanzen zurückzuweisen.
Das Migrationsamt, das Departement für Justiz und Sicherheit sowie das Verwaltungsgericht des Kantons Thurgau stellen ebenso wie das Bundesamt für Migration den Antrag, die Beschwerde abzuweisen.

Erwägungen:
1. Zwar ist am 1. Januar 2008 das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) in Kraft getreten. Trotzdem ist vorliegend gemäss Art. 126 Abs. 1 AuG materiell noch das vorher geltende Recht anwendbar, da das Bewilligungsgesuch im Herbst 2007 gestellt wurde.
2. Weil die Gattin und die Kinder des Beschwerdeführers über eine Niederlassungsbewilligung verfügen, kann sich dieser auf einen Bewilligungsanspruch nach Art. 17 Abs. 2 Satz 1 des bis zum 31. Dezember 2007 geltenden Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121 und Änderungen gemäss der Fussnote zur Ziff. I des Anhangs 2 zum AuG) sowie auf Art. 8 EMRK berufen, zumal er mit seiner Familie zusammenlebt. Daher ist die - gemäss Art. 46 Abs. 1 lit. b und Art. 100 Abs. 1 BGG fristgerecht erhobene - Beschwerde in öffentlich-rechtlichen Angelegenheiten, mit der eine entsprechende Bewilligung begehrt wird, zulässig (vgl. <ref-law>; <ref-ruling> E. 2 und 3.1 S. 284 ff.).
3. Der Beschwerdeführer bestreitet die Ausführungen der Vorinstanzen pauschal "insgesamt und in jedem einzelnen Punkt", soweit er sie nicht ausdrücklich anerkennt oder sie nicht mit seinen Darlegungen übereinstimmen. Dieses Vorgehen entspricht nicht den Rüge- und Begründungsanforderungen von Art. 42 Abs. 2, Art. 97 Abs. 1 und Art. 106 Abs. 2 BGG. Will der Beschwerdeführer die Sachverhaltsfeststellung der Vorinstanz rügen, muss er namentlich dartun, dass sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (vgl. <ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 2.2 S. 41).
4. Gemäss Art. 17 Abs. 2 Satz 1 ANAG (in der Fassung vom 23. März 1990, AS 1991 1034 1043) hat der Ehegatte eines Ausländers mit Niederlassungsbewilligung Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen. Dieser Anspruch erlischt, wenn der Anspruchsberechtigte gegen die öffentliche Ordnung verstossen hat (Art. 17 Abs. 2 Satz 4 ANAG). Die Voraussetzungen, die zum Erlöschen des Bewilligungsanspruchs führen, sind damit weniger streng als bei ausländischen Ehegatten eines Schweizer Bürgers, wo ein Ausweisungsgrund im Sinne von Art. 10 ANAG (in der Fassung vom 8. Oktober 1948, AS 1949 I 221 227) vorliegen muss. Die Erteilung einer Bewilligung gestützt auf Art. 17 Abs. 2 ANAG kann im Übrigen aber auch abgelehnt werden, wenn die nachzuziehende Person gemäss Art. 10 ANAG ausgewiesen werden könnte oder wenn ihr Verhalten zu schweren Klagen Anlass gegeben hat und damit der Widerrufsgrund nach Art. 9 Abs. 2 lit. b ANAG (in der Fassung vom 8. Oktober 1948, AS 1949 I 221 227) erfüllt ist (vgl. <ref-ruling> E. 3b und c S. 7 f.; Urteil 2A.41/2003 vom 2. Juni 2003 E. 2).
Die Verweigerung der Bewilligung muss indes auf jeden Fall verhältnismässig sein. Weil bereits geringere öffentliche Interessen für ein Erlöschen des Anspruchs genügen, sind im Rahmen von Art. 17 Abs. 2 ANAG auch die privaten Interessen der betroffenen Ausländer weniger stark zu werten als bei einer Ausweisung des ausländischen Ehepartners eines Schweizers (vgl. <ref-ruling> E. 4 S. 130 f.; <ref-ruling> E. 3a S. 390; Urteil 2A.42/2001 vom 11. Mai 2001 E. 3a). Eine vergleichbare Interessenabwägung wird ebenso von Art. 8 Ziff. 2 EMRK für einen Eingriff in das Recht auf Achtung des Familienlebens vorausgesetzt (<ref-ruling> E. 2 S. 5 f. mit Hinweisen). Unter diesem Gesichtspunkt interessiert namentlich, ob den nahen Familienangehörigen zugemutet werden kann, dem Ausländer, der keine Bewilligung erhält, ins Ausland zu folgen. Eine allfällige Unzumutbarkeit der Ausreise führt aber nicht für sich allein zur Unzulässigkeit einer Bewilligungsverweigerung (<ref-ruling> E. 4b S. 131).
5. Das Verwaltungsgericht wirft dem Beschwerdeführer vor, er habe am 8. Januar 2005 mit einem Taschenmesser einem Mann vier Stichverletzungen mit einer Tiefe von vier bis fünf Zentimetern am Rücken in nicht grossem Abstand von der Wirbelsäule zugefügt. Deswegen sei er am 25. Oktober 2007 vom Obergericht des Kantons Thurgau als Berufungsinstanz wegen versuchter schwerer Körperverletzung zu einer Freiheitsstrafe von 20 Monaten - bedingt aufgeschoben und unter Anrechnung von 48 Tagen Untersuchungshaft - verurteilt worden. Damit habe er nicht nur gegen die öffentliche Ordnung im Sinne von Art. 17 Abs. 2 Satz 4 ANAG verstossen, sondern auch einen Ausweisungsgrund nach Art. 10 ANAG gesetzt. Gegen die öffentliche Ordnung habe er auch dadurch verstossen, dass er die mehrfachen Aufforderungen zur Ausreise nicht befolgt hatte. Zudem sei trotz Berufstätigkeit der Ehefrau eine "gewisse Gefahr" der dauernden Fürsorgeabhängigkeit nicht von der Hand zu weisen; das kantonale Migrationsamt und das Thurgauer Departement für Justiz und Sicherheit gehen gar von der Gefahr einer fortgesetzten und erheblichen Fürsorgeabhängigkeit gemäss Art. 10 Abs. 1 lit. d ANAG aus. Mit Blick auf diese gesamten Umstände sei das Interesse an der Fernhaltung des Beschwerdeführers gross.
6. Der Beschwerdeführer bestreitet bereits, gegen die öffentliche Ordnung im Sinne von Art. 17 Abs. 2 Satz 4 ANAG verstossen zu haben. Doch auch wenn ihm im strafrechtlichen Verfahren der bedingte Strafvollzug gewährt worden ist, hat die Vorinstanz zu Recht den Ausweisungsgrund der gerichtlichen Bestrafung wegen eines Verbrechens oder Vergehens gemäss Art. 10 Abs. 1 lit. a ANAG als erfüllt betrachtet. Es fragt sich damit bloss, ob die Verweigerung der Aufenthaltsbewilligung verhältnismässig ist.
7. 7.1 Die Vorinstanz geht - namentlich unter Hinweis auf das Strafurteil des Obergerichts und ein psychiatrisches Gutachten - von einer Gewaltneigung und mangelhaften Konfliktfähigkeit des Beschwerdeführers aus. Es bestehe ein überdurchschnittliches Risiko weiterer Straftaten. Der Beschwerdeführer, der im Alter von 32 Jahren in die Schweiz einreiste, könne auch nicht als integriert gelten. Er sei zu keiner Zeit einer Erwerbstätigkeit nachgegangen. Auch habe er keinen einzigen Nachweis erbracht, dass er sich insbesondere in den Jahren 1998 bis 2002, d.h. bis zum rechtskräftigen Entscheid über sein Asylgesuch, ernsthaft um Arbeit bemüht hatte. Für die Zeit danach habe er zwar Unterlagen vorgelegt; diese seien jedoch nicht geeignet, seine angeblich regelmässig erfolgten Bemühungen um Arbeit nachzuweisen. Bei ernsthaftem Engagement um eine Stelle hätte er mehr als bloss zwei Dokumente als Belege beibringen können. Ausserdem sei ihm und seiner Familie der Wegzug in den Irak zumutbar. Das kantonale Departement für Justiz und Sicherheit war zwar noch davon ausgegangen, dass der Ehefrau und den Kindern die Ausreise in den Irak nicht zumutbar sei. Beide Vorinstanzen gelangten dennoch zum Ergebnis, dass es verhältnismässig sei, dem Beschwerdeführer die Aufenthaltsbewilligung zu verweigern. Dem Verwaltungsgericht zufolge könne sich die Familie allenfalls auch in der Türkei niederlassen.
7.2 Der Beschwerdeführer macht geltend, er sei während seines nun zwölfjährigen Aufenthaltes in der Schweiz vor und nach dem Vorfall aus dem Jahr 2005 nie straffällig geworden. Als der Psychiater, der die erhöhte Gewaltneigung feststellte, ihn begutachtete, habe er sich noch in Untersuchungshaft und in aufgeheizter Stimmung befunden, weil er damals davon ausgehen musste, seine Ehefrau sei von einem anderen Mann schwanger geworden. Zudem habe der Gutachter ihm keine Wiederholungsgefahr attestiert.
Die letztgenannte Feststellung hat die Vorinstanz indes nicht getroffen. Der Beschwerdeführer zeigt trotz entsprechender Obliegenheit auch nicht auf, dass die Vorinstanz den Sachverhalt insoweit offensichtlich unrichtig oder durch Rechtsverletzungen festgestellt hat (vgl. Art. 97 Abs. 1 sowie Art. 105 Abs. 1 und 2 BGG sowie E. 3 hievor). Aus dem Strafurteil des Obergerichts ergibt sich im Übrigen bloss, dass der Gutachter meinte, die bisherige Haft habe einen stabilisierenden Effekt auf den Beschwerdeführer ausgeübt, weshalb "nicht zwingend" mit weiteren Gewalttaten zu rechnen sei. Dennoch erklärte der Gutachter auch, es könne "nicht von genereller Ungefährlichkeit gesprochen werden".
Demzufolge ist nicht zu beanstanden, wenn die Vorinstanz - trotz bedingtem Aufschub des Strafvollzugs (vgl. <ref-ruling> E. 3.2 und 7.4 S. 216 f. und 223; Urteil des Bundesgerichts 2C_578/2009 vom 23. Februar 2010 E. 2.4) - davon ausgeht, dass beim Beschwerdeführer ein überdurchschnittliches Risiko weiterer Straftaten besteht. Durch sein Vorbringen räumt dieser letztlich sogar ein, in bestimmten Situationen von vornherein gewaltbereit zu sein, wobei die entsprechende Stimmungslage über Wochen anhalten kann. Er hatte schon mehrere Tage vor dem Vorfall vom 8. Januar 2005 von der ausserehelichen Beziehung seiner Ehefrau erfahren. Am besagten Tag nahm er von zu Hause ein grösseres Messer zum Treffpunkt mit seinem Nebenbuhler mit. Selbst als ihm seine Ehefrau kurz vor Ausbrechen der tätlichen Auseinandersetzung dieses Messer aus der Hand riss, griff er auf ein anderes gefährliches Instrument (das Taschenmesser) zurück, um auf seinen Nebenbuhler einzustechen. Er liess von seinen Attacken erst ab, als andere Personen einschritten. Selbst als ihn der Psychiater einige Zeit später in Untersuchungshaft begutachtete, befand sich der Beschwerdeführer - seinen eigenen Angaben zufolge - noch immer in "aufgeheizter Stimmung". Zudem bezeichnete das Obergericht das Verschulden des Beschwerdeführers als "recht schwer", auch wenn es berücksichtigte, dass sich dieser als Iraker in der Ehre "schwer verletzt fühlte". Damit ist das Interesse an seiner Fernhaltung sehr gross, da es darum geht, die körperliche Integrität anderer Menschen zu schützen, und beim Beschwerdeführer eine erhöhte Gefahr besteht, dass er je nach Situation erneut Gewalt anwendet und sich nicht an die hiesigen Regeln des Zusammenlebens hält.
7.3 Hinzu kommt, dass der Beschwerdeführer auch im Übrigen nicht als integriert gelten kann. Die entsprechenden Feststellungen der Vorinstanzen sind nicht zu beanstanden. Der Beschwerdeführer macht trotz entsprechender Begründungspflicht nach Art. 42 Abs. 2 und Art. 97 Abs. 1 BGG nichts substanziiert geltend, das einen anderen Schluss nahelegen würde. Sein Vorbringen zur Arbeitssuche ist nicht geeignet, die Ausführungen der Vorinstanz als fehlerhaft darzustellen. Auch wenn derzeit nicht davon auszugehen ist, dass die Familie des Beschwerdeführers der öffentlichen Wohltätigkeit fortgesetzt und in erheblichem Masse zur Last fällt, lebt sie doch in beengten finanziellen Verhältnissen (teilweise Verlustscheine und Fürsorgeabhängigkeit der Eheleute in früheren Jahren). Zwar hält sich der Beschwerdeführer seit mehreren Jahren in der Schweiz auf. Doch während seines gesamten Aufenthaltes war er nie im Besitz einer Bewilligung. Seine Asyl- und ein erstes Aufenthaltsgesuch wurden rechtskräftig abgewiesen. Den sich daraus ergebenden Ausreiseverpflichtungen kam er nicht nach. Damit ist der Dauer seines Aufenthaltes im Lande kein besonderes Gewicht beizumessen (vgl. <ref-ruling> E. 3 S. 42; Urteil des Bundesgerichts 2C_411/2010 vom 9. November 2010 E. 4.3; je mit Hinweisen; Urteil des EGMR Rodrigues da Silva und Hoogkamer gegen Niederlande vom 31. Januar 2006 § 43, in: EuGRZ 2006 S. 562).
7.4 Der Beschwerdeführer macht geltend, seiner Ehefrau und den Kindern sei eine Ausreise in den Irak unzumutbar. Zu Recht behauptet er nicht, dass das auch für ihn zutreffen würde (vgl. das Urteil des EGMR F.H. gegen Schweden vom 20. Januar 2009).
Ob der Ehefrau - als Türkin nichtkurdischer Abstammung - und den Kindern der Wegzug in den Irak zumutbar ist, kann vorliegend offen gelassen werden (vgl. immerhin die Urteile des Bundesverwaltungsgerichts E-4243/2007 vom 14. März 2008 E. 7.4 und 7.5, in: BVGE 2008/5, sowie E-6382/2008 vom 16. November 2010 E. 4.2 und 4.3, je mit Hinweisen, zur Zumutbarkeit im Sinne von Art. 83 Abs. 4 AuG und Unterscheidung zwischen alleinstehenden Männern und Familien mit Kindern; UNHCR, Eligibility guidelines for assessing the international protection needs of Iraqi asylum-seekers, April 2009, insb. S. 132 ff, 144 ff. und 195 f.; AMNESTY INTERNATIONAL, Piégées par la violence, Les femmes en Irak, März 2009, MDE 14/005/2009; dies., Hope and Fear, Human Rights in the Kurdistan Region of Iraq, April 2009, MDE 14/006/2009; MARCO LOOSER, Schweizerische Flüchtlingshilfe, Irak: Die sozioökonomische Situation im Nordirak, Mai 2010). Denn selbst bei Unzumutbarkeit erweist sich die Verweigerung der Aufenthaltsbewilligung an den Beschwerdeführer mit Blick auf die von ihm ausgehende Gefahr als verhältnismässig. Bei einem mit einer Schweizer Bürgerin verheirateten Ausländer geht das Bundesgericht in seiner ständigen Rechtsprechung davon aus, dass dem Ausländer im Falle der Verurteilung zu einer Freiheitsstrafe von zwei Jahren in der Regel selbst dann kein erstmaliger Aufenthaltstitel zu erteilen ist, wenn der schweizerischen Ehepartnerin die Ausreise unzumutbar ist (<ref-ruling> E. 4.4 S. 382 mit Hinweisen). Zwar wurde der Beschwerdeführer nicht zu zwei Jahren, sondern zu 20 Monaten Freiheitsstrafe verurteilt. Seine Ehefrau und die Kinder sind indes nicht Schweizer Bürger. Daher sind sie weniger mit der Schweiz verbunden (s. zudem E. 4 hievor). Auch wenn die Kinder in der Schweiz geboren sind, befinden sie sich noch in einem jungen, anpassungsfähigen Alter und verfügen ausserhalb des Elternhauses kaum über eigene soziale Bindungen. Die heute 32-jährige Ehefrau erhielt erst kurz vor ihrer Volljährigkeit die Niederlassungsbewilligung (im Familiennachzug zu ihrem Vater), nachdem sie zuvor noch bei ihrer Mutter in der Türkei gelebt hatte. Der Beschwerdeführer hatte selber zu keinem Zeitpunkt eine Aufenthaltsbewilligung in der Schweiz. Im Zeitpunkt der Heirat war er verpflichtet, das Land zu verlassen. Schon bevor er straffällig wurde, konnten die Eheleute - namentlich angesichts ihrer finanziellen Verhältnisse - kaum damit rechnen, ihre Ehe in der Schweiz leben zu können. Dementsprechend war denn auch ein erstes Bewilligungsgesuch für den Beschwerdeführer im Jahr 2004 rechtskräftig abgewiesen worden. Zudem war das Familienband, als sich der Beschwerdeführer im Januar 2005 strafbar machte, gelockert und die Ehefrau hatte die Trennung bzw. Scheidung in Erwägung gezogen. Nach der erwähnten Straftat lebten die Eheleute sogar zeitweilig getrennt. Als sich die Ehefrau später für die Wiederaufnahme des Ehelebens entschied und ein zweites Mal schwanger wurde, musste ihr aufgrund der Ereignisse erst recht klar sein, dass sie dieses voraussichtlich nicht in der Schweiz würde fortführen können.
Demzufolge ist nicht zu beanstanden, wenn die Vorinstanzen zum Schluss gelangen, dass das Interesse an der Fernhaltung des Beschwerdeführers das Interesse der Familie an seinem Verbleib in der Schweiz überwiegt. Ergänzend wird auf die vorinstanzlichen Ausführungen verwiesen. Nach dem Dargelegten spielt keine Rolle, ob der Beschwerdeführer mit seiner Familie in der Türkei leben könnte bzw. ob ihm dort als Iraker kurdischer Abstammung der Aufenthalt bewilligt würde.
7.5 Demnach durften die Vorinstanzen dem Beschwerdeführer die Aufenthaltsbewilligung sowohl nach nationalem Recht als auch nach Art. 8 EMRK verweigern. Somit erweist sich die Beschwerde als unbegründet und ist abzuweisen.
8. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Migrationsamt des Kantons Thurgau, dem Departement für Justiz und Sicherheit des Kantons Thurgau, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 27. Januar 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz