Sachverhalt: A. I._ lebte seit 1. März 2007 getrennt von seiner früheren Ehefrau. Er betreut seine zwei Kinder (geboren 2001 und 2004) an zwei halben Tagen pro Woche und während gemeinsamer Wochenenden. Seit dem 1. September 2000 arbeitete I._ im Teilpensum (zunächst 70 %, dann 80 %) als Informatiksachbearbeiter. Am 21. Januar 2010 meldete er sich unter Angabe einer psychischen Beeinträchtigung aufgrund einer chronifizierten Depression sowie wegen schneller Ermüdung, Konzentrationsstörungen und Angstzuständen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau klärte die medizinischen und wirtschaftlichen Verhältnisse ab. Dazu holte sie u.a. Berichte der Klinik B._ (vom 23. August 2007), der Fachärzte FMH für Psychiatrie und Psychotherapie Dres. med. O._ (vom 4. April 2010), und W._ (vom 1. September 2010), sowie des Regionalen Ärztlichen Dienstes (RAD) ein. Nach Einschätzung des RAD-Arztes Dr. med. H._ ergaben sich aufgrund der medizinischen Unterlagen ein depressives Zustandsbild (Stimmungsschwankungen, Antriebsschwäche) sowie Ängste und Selbstunsicherheit. Es bestand eine 50%ige Arbeitsfähigkeit in einer eher wohlwollenden, vom Ablauf her ungefährlichen, von den Leistungserwartungen her nicht zu anspruchsvollen Arbeitsatmosphäre (Stellungnahme vom 15. September 2010). Die IV-Stelle ermittelte anhand der gemischten Bemessungsmethode (ausgehend von einem Erwerbsanteil von 80 % und einer Tätigkeit im Aufgabenbereich von 20 % sowie einer Erwerbsunfähigkeit von 46,98 % und einer Behinderung im Aufgabenbereich von 0 %) einen Invaliditätsgrad von 38 %. Mit Vorbescheid vom 28. Februar 2011 und Verfügung vom 23. Mai 2011 lehnte sie einen Rentenanspruch ab, da der notwendige Invaliditätsgrad von 40 % nicht erreicht sei. B. Die von I._ eingereichte Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 31. Mai 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt I._ beantragen, der angefochtene Entscheid sei aufzuheben; es sei ihm eine halbe Invalidenrente zuzusprechen; eventualiter sei die Sache zur ergänzenden Sachverhaltsabklärung an die Vorinstanz zurückzuweisen.