Fatti: A. Nel gennaio 1993, il cittadino croato A.A._ ha sposato nel proprio Paese d'origine la connazionale B.A._, a quel tempo titolare di un permesso di dimora nel nostro Paese. Nel gennaio 1994, egli è giunto in Svizzera, ottenendo a sua volta un permesso di dimora per vivere con la moglie. Dall'unione tra i coniugi sono nati C.A._ e D.A._. Nel gennaio 2004, i membri della famiglia A._ hanno ottenuto tutti un'autorizzazione di domicilio. Durante la permanenza nel nostro Paese, A.A._ ha interessato le autorità penali nei seguenti termini: con decreto d'accusa del 26 maggio 1997, il Procuratore pubblico lo ha condannato alla pena di 3 giorni di detenzione, sospesa condizionalmente con un periodo di prova di 3 anni, per aver circolato senza la licenza di circolazione e quella di condurre (19 ottobre 1996); con decreto d'accusa del 5 novembre 2001, gli sono stati inflitti 3 giorni di detenzione, sospesi condizionalmente con un periodo di prova di 2 anni, per lesioni semplici (dovute ad un ceffone; 4 luglio 2001); dando seguito ad una richiesta di estradizione giunta dal Ministero della Giustizia della Repubblica di Croazia, il 17 dicembre 2007 egli è stato infine arrestato per essere consegnato alle autorità di quel Paese. Con l'estradizione in Croazia di A.A._, per rispondere del reato di violenza carnale, il suo permesso di domicilio è decaduto. Il 22 febbraio 2011, B.A._ ed i due figli hanno invece acquisito la nazionalità elvetica. B. Il 2 aprile 2012, A.A._ ha domandato all'autorità competente l'autorizzazione a entrare e a soggiornare in Svizzera per vivere con la famiglia. Alla sua domanda, egli ha tra l'altro allegato un contratto di lavoro e un certificato emesso il 5 aprile 2012 dal Tribunale municipale di X._ (HR), che indicava come presso il Tribunale regionale e presso il Tribunale municipale di Y._ non fosse stata "elevata alcuna accusa in vigore di legge" e non fosse stata pronunciata "alcuna sentenza revocabile di condanna per atti penali". Su espressa richiesta della Sezione della popolazione del Dipartimento delle istituzioni del Cantone Ticino, A.A._ ha poi prodotto anche un certificato del Ministero della Giustizia croato, che attestava che, con sentenza 31 marzo 2008, il Tribunale regionale di Y._ lo aveva condannato a 5 anni e 6 mesi di reclusione per il reato di violenza carnale (commesso il 13 febbraio 1993). Qualche giorno più tardi, ha fatto infine pervenire un nuovo documento del Tribunale regionale di Y._, datato 1° giugno 2012, da cui risultava la pronuncia della sua liberazione condizionale, per trasferirsi in Svizzera presso la famiglia. C. Preso atto dei fatti indicati, e segnatamente della sentenza del 31 marzo 2008, con decisione del 25 giugno 2012 la Sezione della popolazione ha negato ad A.A._ il rilascio di un permesso di soggiorno in Svizzera per motivi di ordine pubblico. Nel contempo, pur senza trarne conseguenze specifiche, ha sottolineato come sua moglie dipendesse dall'aiuto sociale. Su ricorso di A.A._ e B.A._, detta decisione è stata confermata sia dal Consiglio di Stato che dal Tribunale cantonale amministrativo, pronunciatosi in merito con sentenza del 2 dicembre 2013. D. Il 16 gennaio 2014, A.A._ e B.A._ hanno inoltrato dinanzi al Tribunale federale un ricorso in materia di diritto pubblico, con cui postulano l'annullamento della pronuncia del Tribunale cantonale amministrativo e il rilascio ad A.A._ di un permesso di soggiorno ai fini del ricongiungimento familiare con moglie e figli. La Corte cantonale si è riconfermata nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto in sostanza rinvio anche la Sezione della popolazione e l'Ufficio federale della migrazione. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte.