Fatti: A. Con decisioni del 30 maggio 1996, l'Ufficio federale delle abitazioni ha riconosciuto a A._ ed a B._ aiuti giusta la legge federale del 4 ottobre 1974 che promuove la costruzione di abitazioni e l'accesso alla loro proprietà (LCAP; RS 843), nella forma di cosiddette riduzioni di base (nella fattispecie: anticipazioni decrescenti, fruttanti interessi ed intese a ridurre gli oneri iniziali secondo un preciso piano degli oneri). Detti aiuti sono stati accordati in relazione all'edificazione di due stabili locativi sul territorio del Comune di V._: il primo, sulla particella www (pratica xxx); il secondo, sulla particella yyy (pratica zzz). B. Tra il giugno rispettivamente il dicembre 1999 e il mese di luglio 2006, A._ e B._ hanno proceduto regolarmente al versamento delle quote di rimborso delle anticipazioni menzionate. A partire da tale data, i rimborsi sono invece stati interrotti. Preso atto del fatto che i solleciti di pagamento indirizzati a A._ e B._ e gli incontri tra le parti non avevano portato al proseguimento dei rimborsi e che A._ e B._ si erano opposti anche ai precetti esecutivi fatti loro intimare, il 20 luglio 2009 l'Ufficio federale delle abitazioni ha quindi inoltrato un'azione amministrativa davanti al Tribunale amministrativo federale, mediante la quale chiedeva la condanna di A._ e B._, con vincolo di solidarietà, al pagamento di complessivi fr. 346'899.--, oltre a interessi moratori del 5 % dalla data d'avvio dell'azione. L'azione amministrativa dell'Ufficio federale delle abitazioni è stata accolta con sentenza del 13 maggio 2011 del Tribunale amministrativo federale. C. Con ricorso in materia di diritto pubblico del 17 giugno 2011 davanti al Tribunale federale, A._ e B._ sostengono che tale giudizio sia il risultato di un accertamento manifestamente inesatto dei fatti e della violazione del diritto federale. Chiedendo la riforma della sentenza impugnata, postulano pertanto che il Tribunale federale respinga l'azione dell'Ufficio federale delle abitazioni e lo condanni al pagamento delle spese processuali. Invitata a pronunciarsi, l'istanza precedente si è riconfermata nelle motivazioni e nelle conclusioni del proprio giudizio. Sottolineando la malafede dei ricorrenti e formulando ulteriori osservazioni - di cui verrà detto, per quanto necessario, nel seguito - ad esso ha fatto rinvio anche l'Ufficio federale delle abitazioni.