Erwägungen:
1. 1.1 Der aus dem Kosovo stammende X._ (geb. 1983) heiratete im August 2006 in seiner Heimat eine im Kanton Aargau niedergelassene Landsfrau. Im August 2007 reiste er in die Schweiz ein und erhielt im Rahmen des Familiennachzugs eine Aufenthaltsbewilligung. Im September 2008 wurde der gemeinsame Sohn A._ geboren. Im Januar 2009 trennten sich die Eheleute. Mit Urteil vom 20. Juli 2009 wurde die Ehe geschieden, wobei die elterliche Sorge über das Kind der Mutter zugesprochen wurde. In der Folge verweigerte das Migrationsamt des Kantons Aargau am 10. März 2010 die Erneuerung der Aufenthaltsbewilligung von X._, welche letztmals bis zum 31. August 2009 verlängert worden war. Er habe die Schweiz spätestens 60 Tage nach Rechtskraft der Verfügung zu verlassen. Die dagegen im Kanton erhobenen Rechtsmittel blieben erfolglos.
1.2 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 18. November 2011 beantragt X._ dem Bundesgericht das in der Sache kantonal zuletzt ergangene Urteil des Rekursgerichts im Ausländerrecht vom 19. Oktober 2011 aufzuheben und ihm die Aufenthaltsbewilligung zu verlängern.
1.3 Das Bundesgericht hat die kantonalen Akten beigezogen und auf die Einholung von Vernehmlassungen verzichtet. Infolge eines Ratenzahlungsgesuchs von X._ hat es am 30. November 2011 den Gerichtskostenvorschuss auf Fr. 1'000.-- reduziert und die Zahlungsfrist bis zum 3. Januar 2012 erstreckt. Innert dieser Frist leistete X._ den entsprechend gekürzten Vorschuss.
2. 2.1 Der Beschwerdeführer macht geltend, es werde gegen das Recht auf Achtung des Familienlebens nach Art. 8 EMRK und <ref-law> verstossen. Gegenüber seinem Sohn bestehe eine intakte Beziehung. Diese werde zerstört, falls die Aufenthaltsbewilligung nicht verlängert werde. Er könne dann nämlich nicht mehr sein Besuchsrecht ausüben. Ihm könne der weitere Aufenthalt nur verweigert werden, wenn die nationale Sicherheit, die öffentliche Ruhe und Ordnung oder das wirtschaftliche Wohl des Landes dies gebiete. Das sei hier nicht der Fall.
2.2 Die Vorinstanz stellt im Hinblick auf Art. 50 Abs. 1 lit. b AuG (SR 142.20) und Art. 8 EMRK sowie <ref-law> eine Gesamtbetrachtung an. Insoweit hält sie fest, der Beschwerdeführer unterhalte - durch Ausübung eines Besuchsrechts von einigen Stunden alle zwei Wochen - zwar eine Beziehung zu seinem Sohn. Diese könne jedoch nicht als besonders eng bezeichnet werden. Sogar als die Familie noch intakt war, habe der Beschwerdeführer hinsichtlich der Betreuung und Erziehung des Kindes keine wesentliche Rolle übernommen. Sowohl vor der Trennung der Eltern als auch danach musste die Betreuung des Sohnes unabhängig vom Beschwerdeführer sichergestellt sein. Das obschon während längerer Zeit bloss die Kindsmutter und nicht der Beschwerdeführer berufstätig war.
Insoweit schliesst die Vorinstanz - entgegen der Meinung des Beschwerdeführers - zutreffend, dass der Beschwerdeführer keine besonders enge Beziehung zu seinem Sohn unterhält (vgl. Urteile des Bundesgerichts 2A.218/2005 vom 21. April 2005 E. 2.2.2; 2C_335/ 2009 vom 12. Februar 2010 lit. C und E. 2.2.3; 2C_195/2010 vom 23. Juni 2010 E. 6.4 und 6.6; 2C_787/2010 vom 16. Juni 2011 E. 3.2.2; 2C_398/2011 vom 25. Oktober 2011 E. 3.4; 2C_578/2011 vom 1. Dezember 2011 E. 3.4.4). Auch kommt sie unter Hinweis auf die bundesgerichtliche Praxis zum nicht zu beanstandenden Ergebnis, der Beschwerdeführer könne deshalb keinen Anspruch auf Erneuerung der Aufenthaltsbewilligung aus den erwähnten Bestimmungen ableiten (vgl. zu Art. 8 EMRK: <ref-ruling> E. 3c S. 5, 22 E. 4a und b S. 25 f.; zusätzlich zu Art. 50 AuG: erwähnte Urteile 2C_195/2010 E. 6 und 2C_578/2011 E. 3.4 mit Hinweisen). Der Beschwerdeführer hält sich denn auch noch nicht sehr lange in der Schweiz auf, ist ebenso wenig überdurchschnittlich integriert, die soziale Wiedereingliederung in seinem Herkunftsland ist möglich und er kann die Beziehungen zum Sohn - wenn auch in teilweise anderer Form (z.B. durch gelegentliche Besuchsaufenthalte in der Schweiz) - vom Kosovo aus pflegen. Daran ändert nichts, dass der Beschwerdeführer seit Mitte Juni 2009 in der Schweiz als Tiefbauarbeiter erwerbstätig ist und angeblich seither - jedoch weder beziffert noch belegt - Unterhaltsbeträge für seinen Sohn entrichtet. Den Feststellungen der Vorinstanz zufolge ist nicht ersichtlich, dass er weitergehende finanzielle Unterstützung leistet, welche auf eine besonders enge wirtschaftliche Beziehung schliessen lassen würde.
Der Beschwerdeführer wendet zwar ein, er habe noch nicht über eine angemessene Wohnung verfügt und das Kind sei lediglich ein paar Monate alt gewesen, als das Besuchsrecht festgesetzt worden sei. Die Situation habe sich seither gewandelt, weshalb er nunmehr einen Anspruch auf Besuche an mindestens einem oder zwei Tagen "hätte". Zweifelhaft ist bereits, ob damit eine hinreichend intensive Beziehung geschaffen würde. Wie die Vorinstanz zudem richtig bemerkt, legt der mitwirkungspflichtige Beschwerdeführer nicht einmal dar, dass er inzwischen beachtliche Erziehungsfunktionen übernommen habe. Ebenso wenig hat er nachgewiesen, dass er ein grosszügig ausgestaltetes und effektiv gelebtes Besuchsrecht anstrebe bzw. ausübe. Ein solcher Nachweis hätte vom Beschwerdeführer erwartet werden können, zumal - seinen Angaben zufolge - die Kontakte von einigen Stunden alle zwei Wochen reibungslos stattfinden würden und er nicht behauptet, die Kindsmutter widersetze sich einer Intensivierung der Beziehung zum Sohn. Vielmehr tönt er an, dass er mit ihr nicht mehr wie im Zeitpunkt der Trennung zerstritten sei.
Soweit der Beschwerdeführer den Hinweis der Vorinstanz auf das bundesgerichtliche Urteil 2D_30/2007 vom 17. Juli 2007 kritisiert, weil dort ein anderer Sachverhalt gegeben war, geht dieser Vorwurf fehl. Die Vorinstanz hat dieses Urteil bloss zitiert, um zu belegen, dass die bundesgerichtliche Praxis im Rahmen von Art. 8 EMRK das Erfordernis der besonderen gefühlsmässigen Intensität der Beziehung aufstellt und wann dieses regelmässig erfüllt ist.
2.3 Dem Dargelegten zufolge ist die Beschwerde offensichtlich unbegründet und daher im vereinfachten Verfahren nach <ref-law> zu behandeln und abzuweisen. Das Bundesgericht kann sich auf eine summarische Begründung beschränken und für alles Weitere auf den ausführlich und sorgfältig begründeten Entscheid der Vorinstanz verweisen (<ref-law>). Diese hat sich bereits zutreffend mit sämtlichen Vorbringen des Beschwerdeführers befasst.
3. Diesem Ausgang entsprechend hat der Beschwerdeführer die mit Blick auf seine Einkommens- und Vermögensverhältnisse reduzierten Gerichtskosten zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht zugesprochen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Rekursgericht im Ausländerrecht des Kantons Aargau und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 17. Januar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Merz