Fatti:
A. La C._ è una società in nome collettivo con sede nel Canton Zurigo, la cui attività, secondo il registro di commercio, consiste nell'acquisto, nella vendita e nell'amministrazione di immobili, compresa l'amministrazione di alberghi e ristoranti, così come nella partecipazione ad altre imprese.
D.A._ era socio di tale società in ragione di 1/5. Alla sua morte detta quota è passata ad una comunione ereditaria composta dalla vedova E.A._ (in ragione di 1/2) e dai figli F.A._, G.A._ e A.A._ (in ragione di 1/6 ciascuno).
B. Con decisione del 1° aprile 2009, relativa all'anno 2004, A.A._ e la moglie B.A._ sono stati tassati sulla base dei fattori che seguono:
[omissis]
In quel contesto, l'autorità fiscale ha in particolare quantificato la quota dei contribuenti nella C._ in fr. 1'322'104.-- ed in fr. 68'550.-- il reddito ad essa relativo, cui andava aggiunto, per la sola imposta federale diretta, un reddito straordinario di fr. 139'470.-- riconducibile alla vendita di un immobile a Y._ (Canton Zurigo).
C. Il reclamo interposto da A.A._ e B.A._ contro la decisione dell'Ufficio circondariale di tassazione competente è stato respinto il 7 gennaio 2010. Adita successivamente, la Camera di diritto tributario ha da parte sua dichiarato irricevibile il ricorso in materia d'imposta cantonale e respinto il ricorso in materia d'imposta federale diretta con sentenza del 13 marzo 2012.
Davanti a tutte le istanze cantonali, A.A._ e B.A._ hanno in sostanza contestato, senza successo, il carattere commerciale della partecipazione nella citata società in nome collettivo.
D. L'8 maggio 2012, A.A._ e B.A._ (ricorrenti) hanno impugnato il giudizio della Camera di diritto tributario con ricorso in materia di diritto pubblico al Tribunale federale. Facendo valere un accertamento manifestamente inesatto dei fatti e la violazione del diritto federale, segnatamente di rango costituzionale, essi sostengono nuovamente che i fattori imponibili riconducibili alle proprietà della società in nome collettivo siano in realtà da considerare parte del loro patrimonio privato.
In corso di procedura, la Divisione delle contribuzioni del Canton Ticino, la Camera di diritto tributario del Tribunale d'appello e l'Amministrazione federale delle contribuzioni hanno proposto di respingere il ricorso, nella misura in cui sia ammissibile.

Diritto:
1. 1.1 La Corte cantonale si è lecitamente pronunciata in un solo giudizio sia sull'imposta cantonale che sull'imposta federale diretta; in queste circostanze, i ricorrenti potevano anch'essi formulare critiche e conclusioni valide per le due categorie di imposte, senza procedere a ulteriori distinzioni (<ref-ruling> consid. 1.3 pag. 262 seg.).
Siccome vi sono Cantoni che emanano in ogni caso decisioni indipendenti, per ciascun tipo d'imposta, il Tribunale federale ha aperto comunque due incarti distinti, per l'imposta cantonale (2C_415/2012) e per l'imposta federale diretta (2C_416/2012), che si giustifica nel seguito di congiungere (sentenza 2C_123/2012 dell'8 agosto 2012 consid. 1).
Considerato che dagli atti potrebbero emergere circostanze ignote ai ricorrenti insorti contro le due ulteriori sentenze emesse dalla Corte cantonale sul medesimo complesso di fatti, la richiesta di congiunzione con gli incarti 2C_417-8/2012 e 2C_419-20/2012, concernenti appunto degli altri contribuenti, non può invece essere accolta (sentenza 2C_75/2007 del 9 novembre 2007 consid. 1.2 e contrario).
1.2 Il ricorso concerne una causa di diritto pubblico che non ricade sotto alcuna delle eccezioni di cui all'<ref-law> ed è diretto contro una decisione finale resa in ultima istanza cantonale da un Tribunale superiore (art. 86 cpv. 1 lett. d e cpv. 2 LTF).
Esso è stato presentato in tempo utile dai destinatari del giudizio contestato (art. 46 cpv. 1 lett. a in relazione con l'<ref-law>, con un interesse al suo annullamento (<ref-law>).
Il gravame è pertanto di principio ammissibile quale ricorso in materia di diritto pubblico giusta l'art. 82 segg. LTF (in questo contesto, cfr. inoltre pure l'art. 86 cpv. 1 lett. d LTF in relazione con l'<ref-law> e l'art. 73 della legge federale del 14 dicembre 1990 sull'armonizzazione delle imposte dirette dei Cantoni e dei Comuni [LAID; RS 642.14]).
2. 2.1 Secondo l'art. 42 cpv. 1 e 2 LTF, il ricorso deve contenere le conclusioni ed i motivi su cui queste si fondano; indicandoli, dev'essere spiegato in modo conciso perché l'atto impugnato viola il diritto (<ref-ruling> consid. 2.1 pag. 245 seg.).
Esigenze più severe si applicano in relazione alla violazione di diritti fondamentali. Il Tribunale federale esamina infatti simili censure soltanto se sono state sollevate e motivate in modo preciso (<ref-law>; <ref-ruling> consid. 2.2 pag. 246; <ref-ruling> consid. 1.4.2 pag. 254). Nella sua impugnativa, è necessario che il ricorrente specifichi quali diritti ritiene lesi ed esponga le critiche in modo chiaro, circostanziato ed esaustivo. In caso di asserita violazione del divieto d'arbitrio, deve spiegare in che misura la decisione impugnata sia - a livello di motivazione, così come di risultato - manifestamente insostenibile, gravemente lesiva di una norma o di un principio giuridico indiscusso, oppure in contraddizione urtante con il sentimento di giustizia ed equità (<ref-ruling> consid. 6 pag. 397; <ref-ruling> consid. 2.1 pag. 9).
2.2 Per quanto riguarda i fatti, il Tribunale federale fonda il suo ragionamento giuridico sull'accertamento svolto dall'autorità inferiore (<ref-law>). Esso può scostarsene solo se è stato eseguito in violazione del diritto ai sensi dell'<ref-law> o in modo manifestamente inesatto, ovvero arbitrario (DTF <ref-ruling> consid. 1.2.2 pag. 252). L'eliminazione del vizio indicato deve inoltre poter influire in maniera determinante sull'esito della causa, aspetto che, insieme a quello dell'asserito arbitrio, compete al ricorrente sostanziare (<ref-law>).
A meno che non ne dia motivo la decisione impugnata, non possono nemmeno essere addotti nuovi fatti o nuovi mezzi di prova (<ref-law>).
2.3 Nel caso specifico, una motivazione sufficientemente precisa del ricorso è ravvisabile solo in parte. Nella misura in cui i requisiti esposti sono disattesi, il gravame va quindi considerato inammissibile.
2.3.1 Oltre che per i molteplici rinvii a norme e principi costituzionali di cui la lesione viene in pratica solo affermata, ciò vale pure per la maggior parte dei rimproveri di accertamento dei fatti manifestamente inesatto da parte della Corte cantonale. Anche questa critica sfocia in effetti in una censura, quella dell'arbitrio, che i ricorrenti sarebbero stati tenuti a formulare conformemente all'<ref-law>.
2.3.2 Visto che davanti al Tribunale federale possono essere addotti nuovi fatti e nuovi mezzi di prova soltanto se ne dà motivo la decisione impugnata (<ref-law>), aspetto che competeva agli insorgenti sostanziare, non potrà infine nemmeno essere dato seguito alla richiesta di assunzione di nuove prove formulata con il ricorso (sentenza 2C_244/2011 del 3 febbraio 2012 consid. 2.4).
3. Il ricorso verte sulla corretta attribuzione dei fattori imponibili relativi alla quota detenuta dai ricorrenti nella società in nome collettivo C._, con sede nel Canton Zurigo.
Come davanti alle istanze precedenti, gli insorgenti sostengono che la società non avrebbe mai esercitato rispettivamente non eserciterebbe da tempo più alcuna attività commerciale, ragione per cui il suo patrimonio costituirebbe, da sempre o comunque da molto, sostanza privata dei soci.
3.1 Investita anch'essa della questione a sapere se detti fattori fossero da considerare parte della sostanza commerciale o di quella privata dei ricorrenti, la Camera di diritto tributario ha rilevato che, per quanto riguarda l'imposta cantonale, la domanda sollevata non aveva nessuna importanza pratica e che, in questo ambito, non vi era pertanto interesse a ricorrere.
3.2 Passata all'esame della fattispecie nell'ottica dell'imposta federale diretta, ha poi deciso in merito alla domanda posta, concludendo che il patrimonio della società collettiva non costituisse affatto sostanza privata dei soci, ma facesse sempre e ancora parte della sostanza commerciale.
3.3 Di conseguenza, ha confermato anche che, a differenza di quanto richiesto dai ricorrenti, l'utile conseguito con la cessione dell'immobile di Y._ (Canton Zurigo) da parte della C._ non poteva in realtà beneficiare dell'esenzione prevista dall'<ref-law> della legge federale del 14 dicembre 1990 sull'imposta federale diretta.
I. Imposta federale diretta
4. 4.1 L'imposta sul reddito ha tra l'altro quale oggetto tutti i proventi periodici e unici provenienti da un'attività lucrativa indipendente (art. 16 cpv. 1 e 18 cpv. 1 LIFD); tra essi figurano quelli percepiti dai soci di una società in nome collettivo (sentenza 2A.228/2006 del 28 novembre 2006 consid. 2.1; PETER LOCHER, Kommentar zum DBG, I. parte, Therwil/Basilea 2001, ad <ref-law> n. 19). Come nel caso di comunioni ereditarie, il reddito di società in nome collettivo è aggiunto agli elementi imponibili dei singoli soci, ciascuno per la loro parte (<ref-law>).
Gli utili in capitale conseguiti nella realizzazione di sostanza privata sono per contro esenti da imposta (<ref-law>, cui si richiamano i ricorrenti).
4.2 Come già osservato, la Corte cantonale è giunta di fatto alla conclusione che gli insorgenti non potevano beneficiare dell'esenzione prevista dall'<ref-law>, poiché il patrimonio della società collettiva, di cui faceva parte l'immobile ceduto a Y._ (Canton Zurigo), costituiva sostanza commerciale e non privata.
Preso atto di come nemmeno i ricorrenti negassero che la società avesse esercitato in passato delle attività commerciali, detta Corte ha in effetti ritenuto che, anche nel caso in cui tale attività sia nel frattempo cessata, essi non abbiano dimostrato alcun passaggio dei beni impiegati a tale scopo nella sostanza privata dei soci.
4.3 Nei considerandi dell'impugnata sentenza, i Giudici cantonali hanno correttamente esposto i principi che disciplinano la distinzione tra sostanza commerciale e sostanza privata così come le condizioni per il riconoscimento del passaggio dall'una all'altra di un determinato bene, per cui a tale esposizione - ed ai riferimenti alla giurisprudenza che l'accompagnano - può essere fatto rinvio anche in questa sede (querelato giudizio, consid. 2.2. segg.).
Riguardo alla citata distinzione, essi hanno in particolare ricordato che, nella misura in cui sono obbligate a tenere una contabilità, le società in nome collettivo possono avere solo sostanza commerciale (sentenza 2C_6/2008 del 27 gennaio 2009 consid. 3.1).
Gli stessi hanno poi sottolineato che, una volta constatata l'appartenenza di un bene alla sostanza commerciale, un passaggio alla sostanza privata non ha luogo né con il semplice trascorrere degli anni, né per via di successione, ma è necessaria una comunicazione all'autorità di tassazione, nella quale sia indicata la decisione di trasferimento alla sostanza privata di questo bene (sentenza 2A.105/2007 del 3 settembre 2007 consid. 3.3).
Così argomentando, hanno quindi anche chiarito che, una volta stabilita l'originaria appartenenza di un bene alla sostanza commerciale, la prova di un tale passaggio - da sostanza commerciale a sostanza privata - spetta in realtà al contribuente (sentenza 2A.105/2007 del 3 settembre 2007 consid. 5.2).
5. Basandosi sui contenuti dell'impugnativa davanti ad essa interposta, nel querelato giudizio la Corte Cantonale ha innanzitutto considerato un fatto accertato che la società in nome collettivo abbia in passato svolto un'attività commerciale. I ricorrenti contestano invece tale conclusione, sostenendo che sia frutto di un accertamento manifestamente inesatto dei fatti.
5.1 A ragione gli insorgenti sottolineano che i Giudici cantonali sono giunti a dare per acquisito l'esercizio di un'attività commerciale da parte della C._ fondandosi su prese di posizione che erano in realtà formulate in maniera solo eventuale (ricorso del 24 febbraio 2010, pag. 3). La questione da loro sollevata, può tuttavia essere lasciata aperta, poiché la conclusione di detti Giudici - relativa all'originaria appartenenza dei beni alla sostanza commerciale - si giustificava comunque per un altro motivo.
5.1.1 In base a una giurisprudenza applicata anche in ambito fiscale, vale infatti una specifica presunzione, secondo cui una società in nome collettivo dev'essere considerata un'impresa volta ad ottenere un guadagno: con relativo obbligo di iscriversi a registro di commercio e quindi pure con obbligo - determinante per la classificazione dei suoi beni nella sostanza commerciale (precedente consid. 4.3) - di condurre una contabilità (sentenza 2A.570/2002 del 3 giugno 2003 consid. 2.4.4 con rinvio alla <ref-ruling>).
5.1.2 Determinante per la classificazione dei beni della società nella sostanza commerciale (precedente consid. 4.3; sentenza 2C_6/2008 del 27 gennaio 2009 consid. 3.1), tale presunzione trova piena applicazione pure alla fattispecie e non è stata in concreto capovolta. Al contrario, essa risulta essere rinforzata dallo scopo iscritto a registro di commercio (precedente consid. A; <ref-ruling> consid. 2b pag. 82), il cui effettivo perseguimento da parte dei suoi soci viene certo messo in discussione, ma senza apportare nessuna prova decisiva al riguardo (sull'argomento, cfr. pure il successivo consid. 5.3).
5.1.3 A tutto ciò si aggiunge inoltre che, secondo i vincolanti accertamenti della Corte cantonale (<ref-law>), da essa a ragione evidenziati, la stessa contabilità della C._ - che la società era appunto obbligata a tenere - ha attribuito agli immobili un valore contabile e ha addirittura qualificato quale "provento straordinario" l'utile conseguito con la vendita dell'immobile in discussione. Sempre secondo giurisprudenza, nello stabilire l'appartenenza di un determinato bene alla sostanza commerciale, anche il trattamento contabile è infatti un aspetto cui viene attribuito un particolare rilievo probatorio (sentenza 2A.228/2006 del 28 novembre 2006 consid. 2.2 con ulteriori rinvii).
5.2 Nel contempo, non può però essere condivisa nemmeno l'affermazione - formulata in subordine, nella denegata ipotesi dovesse essere dato per accertato che la società in nome collettivo aveva in passato svolto un'attività commerciale - per cui un passaggio dalla sostanza commerciale alla sostanza privata era comunque già avvenuto e spettava al fisco dimostrare il contrario.
In base a quanto rilevato (precedente consid. 4.3), l'onere della prova relativo ad un simile passaggio non grava in effetti il fisco - al quale non può per altro essere chiesto di dimostrare un fatto negativo - bensì ai contribuenti stessi (sentenza 2A.105/2007 del 3 settembre 2007 consid. 5.2).
5.3 Assodato che ai ricorrenti sarebbe spettato ribaltare la presunzione di cui si è detto (precedente consid. 5.1) o, in subordine, dimostrare il passaggio dalla sostanza commerciale a quella privata dei beni in discussione (precedente consid. 5.2), resta da esaminare la censura, con la quale essi sostengono la mancata presa in considerazione da parte della Camera di diritto tributario delle prove offerte, quindi la violazione del loro diritto di essere sentiti.
5.3.1 Il diritto di essere sentiti, garantito dall'<ref-law>, comprende anche il diritto di offrire prove e di ottenerne l'assunzione (<ref-ruling> consid. 5.3 pag. 148 con rinvii). Per quanto riguarda l'imposta federale diretta, tale diritto è inoltre espressamente oggetto dell'<ref-law>. Il diritto di far amministrare delle prove presuppone tuttavia che il fatto da provare sia pertinente, che il mezzo di prova proposto sia necessario per constatare questo fatto e che la domanda sia formulata nelle forme e nei termini prescritti (<ref-ruling> consid. 2 pag. 242 seg.).
5.3.2 I ricorrenti lamentano in concreto di non essere stati sentiti personalmente così come la mancata ricerca "negli archivi delle autorità fiscali interessate della documentazione storica" riguardante la C._, prove la cui assunzione sarebbe stata chiesta dalla loro rappresentante con il ricorso inoltrato alla Camera di diritto tributario.
In merito alla richiesta di audizione, la censura è manifestamente infondata. Così come indicato dalla Camera di diritto tributario nella risposta inoltrata al Tribunale federale, un'audizione davanti alla Corte cantonale ha infatti avuto luogo il 21 dicembre 2010, come da verbale accluso agli atti, sottoscritto tra gli altri anche dalla precedente rappresentante dei ricorrenti.
La critica è però infondata anche per quanto riguarda la mancata ricerca "negli archivi delle autorità fiscali interessate della documentazione storica" riguardante la C._. Contrariamente a quanto sostenuto davanti al Tribunale federale, forse perché a torto convinti che l'onere della prova non fosse a loro carico, i ricorrenti non hanno a suo tempo affatto richiesto l'assunzione di simile prova. Si sono in effetti limitati ad osservare che, se la Corte cantonale lo avesse voluto, avrebbe potuto ordinarla ma che, a loro avviso, ciò non fosse necessario (ricorso del 24 febbraio 2010, pag. 3).
In via abbondanziale può inoltre essere aggiunto che, quand'anche avessero presentato una vera e propria richiesta in tal senso, essa era formulata in maniera talmente generica che la Corte cantonale avrebbe potuto comunque non darvi seguito senza con ciò ledere il diritto di essere sentiti dei ricorrenti (sentenze 2A.408/2001 del 6 giugno 2002 consid. 3.4; 2P.53/1993 del 19 gennaio 1995 in StE 1995 A 21.13 Nr. 4; MARTIN ZWEIFEL/HUGO CASANOVA, Schweizerisches Steuerverfahrensrecht, 2008, pag. 152 n. 30).
5.3.3 La Corte cantonale non ha quindi violato nemmeno il diritto di essere sentiti dei ricorrenti.
5.4 Per quanto precede, con riferimento all'imposta federale diretta e nella misura in cui è ammissibile, il ricorso in materia di diritto pubblico dev'essere respinto, poiché infondato.
II. Imposta cantonale
6. 6.1 Chiamata ad esprimersi sulla questione a sapere se i fattori imponibili riconducibili alle proprietà della società in nome collettivo fossero da considerare parte della sostanza commerciale o di quella privata, la Camera di diritto tributario ha rilevato che, per quanto attiene all'imposta cantonale, la domanda non aveva importanza pratica e che, in questo ambito, non vi era pertanto interesse a ricorrere. Riguardo all'imposta cantonale, non si è quindi espressa sulla questione, dichiarando inammissibile il ricorso.
6.2 Pur contestandole, l'impugnativa non si confronta realmente con le puntuali motivazioni addotte a sostegno di tale conclusione. Nonostante la decisione d'inammissibilità presa dalla Corte cantonale, essa continua inoltre a chiedere che i fattori imponibili riconducibili alle proprietà della società in nome collettivo siano considerati patrimonio privato anche per quanto riguarda l'imposta cantonale.
6.3 Tenuto conto degli obblighi di motivazione imposti dalla LTF (precedente consid. 2.1), così come del fatto che l'oggetto del litigio è determinato dalla decisione impugnata, segnatamente dal suo dispositivo, e che la richiesta formulata esula di conseguenza dall'oggetto del contendere (sentenza 2C_173/2011 del 24 giugno 2011 consid. 1.2; BERNARD CORBOZ, IN: COMMENTAIRE DE LA LTF, 2009, N. 31 SEGG. AD ART. 112), riguardo all'imposta cantonale il ricorso è pertanto inammissibile.
III. Spese e ripetibili
7. Nella misura in cui è ammissibile, il ricorso è integralmente respinto. Le spese giudiziarie seguono la soccombenza (<ref-law>). Non si assegnano ripetibili ad autorità vincenti (<ref-law>).

Per questi motivi, il Tribunale federale pronuncia:
1. Le cause 2C_415/2012 e 2C_416/2012 sono congiunte.
2. In riferimento all'imposta federale diretta (incarto 2C_416/2012), il ricorso in materia di diritto pubblico, nella misura in cui è ammissibile, è respinto.
3. In riferimento all'imposta cantonale (incarto 2C_415/2012), il ricorso in materia di diritto pubblico è inammissibile.
4. Le spese giudiziarie di fr. 2'000.-- sono poste a carico dei ricorrenti, in solido.
5. Comunicazione al patrocinatore dei ricorrenti, alla Divisione delle contribuzioni e alla Camera di diritto tributario del Tribunale d'appello del Cantone Ticino nonché all'Amministrazione federale delle contribuzioni, Divisione principale imposta federale diretta, imposta preventiva, tasse di bollo.