Fatti:
A. Il 5 ottobre 2000 il Municipio di Cureglia ha rilasciato a A._ una licenza edilizia per realizzare un vivaio con serre per la coltivazione di piante "hors sol" sui fondi part. n. 470 e 778, situati fuori della zona edificabile, in un comparto in parte boschivo e in parte privo di destinazione specifica. L'istante ha realizzato delle opere parzialmente diverse da quelle autorizzate, che sono poi state sanate da una licenza edilizia a posteriori del 9 gennaio 2003 oppure rettificate.
B. Verso la fine del 2009, il Municipio ha constatato che nelle serre del vivaio erano svolte delle attività di vendita non conformi alle licenze edilizie del 5 ottobre 2000 e del 9 gennaio 2003. Dopo una serie di atti che non occorre qui evocare, il 13 aprile 2010 l'esecutivo comunale ha quindi ordinato a A._, con la comminatoria penale dell'<ref-law>, di sospendere immediatamente ogni e qualsiasi attività di vendita sui fondi part. n. 470 e 778 e di sospendere immediatamente ogni e qualsiasi lavoro in contrasto con le licenze edilizie. Il Municipio gli ha inoltre fatto obbligo di inoltrare, entro 30 giorni dalla notificazione, una domanda di costruzione a posteriori per tutte le opere eseguite che non risultano approvate con le suddette licenze edilizie, nonché per il cambiamento di destinazione da vivaio in punto di vendita.
C. Con decisione del 17 agosto 2010 il Consiglio di Stato del Cantone Ticino ha parzialmente accolto un ricorso presentato da A._ contro la risoluzione municipale. Ha annullato, siccome formulato in modo impreciso, l'ordine di sospendere i lavori non autorizzati dalle citate licenze edilizie e di presentare una domanda di costruzione per gli stessi. Ha per contro confermato l'ordine di sospendere l'attività di vendita e di presentare una domanda di costruzione in sanatoria per la formazione di un punto vendita.
D. Adito sia da A._ sia dal Comune di Cureglia, con sentenza del 17 dicembre 2010 il Tribunale cantonale amministrativo ha parzialmente accolto entrambi i gravami, quello del Comune nella misura della sua ricevibilità. La Corte cantonale ha in parte annullato la decisione governativa, riformando quella municipale nel senso che era fatto ordine a A._, sotto comminatoria dell'<ref-law>, di sospendere immediatamente l'attività del negozio installato senza permesso nelle serre e la vendita di prodotti non coltivati nel vivaio. Gli era inoltre fatto ordine di inoltrare, entro 30 giorni dalla crescita in giudicato della decisione, una domanda di costruzione in sanatoria per il negozio installato senza permesso nelle serre.
E. A._ impugna questa sentenza con un ricorso in materia di diritto pubblico e un ricorso sussidiario in materia costituzionale al Tribunale federale, chiedendo di annullare il dispositivo che gli ordina la predetta sospensione dell'attività di vendita e l'inoltro di una domanda di costruzione in sanatoria. Il ricorrente fa valere la violazione del principio dell'uguaglianza giuridica, del divieto dell'arbitrio, del diritto di essere sentito e della libertà economica.
F. La Corte cantonale si riconferma nella sua sentenza. Il Consiglio di Stato e il Municipio di Cureglia si rimettono al giudizio del Tribunale federale.
Con decreto presidenziale del 9 marzo 2011 è stato conferito effetto sospensivo al gravame.

Diritto:
1. Il Tribunale federale esamina d'ufficio e con piena cognizione la sua competenza (cfr. <ref-law>) e l'ammissibilità dei ricorsi (<ref-ruling> consid. 3 e rinvii).
1.1 Presentato tempestivamente dal proprietario dei fondi oggetto del contestato provvedimento e diretto contro una decisione pronunciata in una causa di diritto pubblico da un'autorità di ultima istanza cantonale, il ricorso in materia di diritto pubblico è di principio ammissibile sotto il profilo degli art. 82 lett. a, 86 cpv. 1 lett. d, 89 cpv. 1 e 100 cpv. 1 in relazione con l'art. 46 cpv. 1 lett. c LTF. Non vi è pertanto spazio per un ricorso sussidiario in materia costituzionale (<ref-law>).
1.2 Problematica appare per contro la ricevibilità del ricorso rispetto ai requisiti posti dall'<ref-law>, disposizione sulla quale il ricorrente non si esprime.
1.2.1 Secondo detta norma, il ricorso contro una decisione incidentale è ammissibile se può causare un pregiudizio irreparabile (lett. a) o se l'accoglimento del ricorso comporterebbe immediatamente una decisione finale consentendo di evitare una procedura probatoria defatigante o dispendiosa (lett. b).
Sono incidentali le decisioni che non pongono termine alla lite e riguardano soltanto una fase del procedimento, assumendo una funzione strumentale rispetto alla pronuncia destinata a concludere la vertenza; queste decisioni possono avere indifferentemente per oggetto una questione formale o materiale, giudicata anteriormente alla decisione finale (<ref-ruling> consid. 4.1.3). Un pregiudizio è poi irreparabile nel senso dell'<ref-law> quando è suscettibile di provocare un danno che una decisione favorevole nel merito non permetterebbe di eliminare completamente. Il semplice prolungamento della procedura o l'aumento dei costi collegati alla causa non basta di massima a fondare un simile pregiudizio (<ref-ruling> consid. 1.2.1 e rinvii).
Le condizioni di ammissibilità poste dall'<ref-law>, il cui adempimento deve di principio essere dimostrato dal ricorrente (<ref-ruling> consid. 1.2 in fine), mirano a sgravare il Tribunale federale, che di massima deve potersi esprimere sull'oggetto del litigio con un'unica decisione, evitando di pronunciarsi parzialmente, senza un esaustivo accertamento della fattispecie, nell'ambito di una prima fase della procedura. Se eventuali pregiudizi possono essere eliminati in modo adeguato anche nel contesto di un esame successivo all'emanazione del giudizio finale, questo Tribunale non entra quindi nel merito di impugnative contro decisioni pregiudiziali e incidentali (<ref-ruling> consid. 1.3.2).
1.2.2 In concreto, la Corte cantonale ha in sostanza parzialmente confermato la decisione del Municipio del 13 aprile 2010, segnatamente per quanto riguarda l'ordine di inoltrare una domanda di costruzione in sanatoria per il negozio installato senza permesso nelle serre. Riguardo al provvedimento cautelare della sospensione dell'attività di vendita, la Corte cantonale ha limitato l'ordine municipale ai prodotti non coltivati nel vivaio. Il ricorrente non contesta di per sé, tantomeno con una motivazione conforme agli art. 42 cpv. 2 e 106 cpv. 2 LTF, il provvedimento cautelare in quanto tale, contro il quale può essere fatta valere soltanto la violazione di diritti costituzionali (<ref-law>; cfr., sulle esigenze di motivazione, <ref-ruling> consid. 1.4.1 e rinvii). Egli contesta essenzialmente la necessità di presentare un'ulteriore domanda di costruzione per svolgere un'attività commerciale, legata in particolare alla vendita di prodotti coltivati altrove.
Ora, il contestato ordine di inoltrare una domanda di costruzione in sanatoria non risolve di per sé il quesito determinante a cui è connesso, ovvero quello della compatibilità o meno dell'attività commerciale concretamente svolta nel vivaio per rapporto ai disposti pianificatori applicabili. Tale ordine implica unicamente l'esigenza di dare avvio ad una procedura formale che, con la collaborazione del proprietario, permetta di verificare compiutamente proprio gli aspetti di legittimità materiale dell'utilizzazione litigiosa, che si risolverà nel rilascio o nel diniego della licenza edilizia (sentenze 1P.717/2004 del 12 agosto 2005, consid. 1.2, in: RtiD I-2006 pag. 144 segg.; 1P.756/2006 del 23 gennaio 2007, consid. 1.4.2). Del resto, nel giudizio impugnato, la Corte cantonale si è limitata a confermare l'esigenza di inoltrare una domanda di costruzione, rilevando rettamente che la questione di sapere se le attività commerciali avviate dal ricorrente all'interno delle serre del vivaio potessero o meno essere autorizzate in sanatoria non doveva ancora essere esaminata in quella sede. Le argomentazioni di merito riguardanti la portata degli interventi e dell'attività svolta sui fondi interessati, comprese le censure riferite alla sussistenza stessa di un cambiamento di destinazione, potranno pertanto essere addotte dal ricorrente nell'ambito della procedura edilizia che verrà avviata con l'inoltro della domanda di costruzione (cfr. sentenza 1P.717/2004, citata, consid. 1.2.2).
1.2.3 In tali circostanze, il gravame risulta quindi diretto contro una decisione di natura incidentale, che non appare suscettibile di cagionare un pregiudizio irreparabile ai sensi dell'<ref-law>, non potendosi come visto ravvisare un simile danno nel prolungamento della procedura o nel suo conseguente maggior costo. Né il ricorrente subisce una limitazione della sua attività economica sulla base delle licenze edilizie finora rilasciate, non potendo per contro pretendere di svolgere attività non coperte dalla necessaria licenza edilizia. Quanto alla condizione dell'<ref-law>, nella fattispecie essa non è manifestamente data. In mancanza di chiari accertamenti vincolanti sull'intervento edilizio e di una sua valutazione approfondita nell'ambito dell'esame della domanda di costruzione, un giudizio immediato da parte di questa Corte non entra infatti in considerazione (cfr. <ref-ruling> consid. 5.1).
Contro un'eventuale decisione dell'ultima istanza cantonale, che dovesse negare definitivamente la licenza edilizia o comunque risultare sfavorevole al ricorrente, egli potrà se del caso riproporre le odierne censure nell'ambito di un nuovo ricorso al Tribunale federale (cfr. <ref-law>).
2. Ne segue che il gravame deve essere dichiarato inammissibile. Le spese giudiziarie seguono la soccombenza e sono quindi poste a carico del ricorrente (<ref-law>).

Per questi motivi, il Tribunale federale pronuncia:
1. I ricorsi sono inammissibili.
2. Le spese giudiziarie di fr. 2'000.-- sono poste a carico del ricorrente.
3. Comunicazione al patrocinatore del ricorrente, al Municipio di Cureglia, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino nonché all'Ufficio federale dello sviluppo territoriale.