Fatti:
A. Il 1° marzo 2005 la Commissione federale delle case da gioco ha svolto un'ispezione presso la A._SA, titolare a Mendrisio di una casa da gioco con concessione di tipo B. In tale occasione le ha rimproverato che il procedimento di conteggio dei soldi nel locale adibito a tale scopo non poteva venir seguito in modo adeguato mediante il sistema di videosorveglianza. L'interessata ha contestato che le prescrizioni applicabili le imponevano di modificare il proprio dispositivo, ma ha comunque assicurato di cercare una soluzione che, come chiesto, permettesse di verificare mediante le telecamere non solo le modalità, ma anche il risultato del conteggio. In questo senso si è in effetti poi dotata di un'interfaccia che metteva in relazione l'apparecchio automatico per la conta dei franchi con il sistema di videosorveglianza.
Il 30 agosto 2005 l'autorità ha compiuto una nuova ispezione, a seguito della quale ha osservato che il conteggio del denaro non era sistematicamente verificabile dalla videosorveglianza poiché il display di una macchina contasoldi era leggibile solo se la camera veniva messa a fuoco in modo particolare. Dopo aver visionato ulteriori immagini, il 24 ottobre seguente l'autorità di vigilanza ha segnalato, da un lato, che le riprese video non coprivano adeguatamente il trasporto delle banconote fino all'apparecchio di conteggio degli euro e, d'altro lato, che il risultato registrato da tale apparecchio continuava a non essere verificabile in modo costante attraverso le telecamere. Il 31 ottobre 2005 la A._SA ha informato l'autorità che per ovviare alle critiche formulate aveva spostato l'apparecchio per la conta degli euro a fianco del tavolo dove venivano separate le banconote, in modo da ridurre il percorso del denaro. Inoltre ha rilevato di aver approntato una nuova procedura, in base alla quale l'addetto alla videosorveglianza veniva avvertito al momento del conteggio, onde poter focalizzare la telecamera sul display, che appariva così ben visibile.
L'11 novembre 2005 la Commissione federale delle case da gioco ha effettuato una nuova ispezione, accertando che le misure comunicate erano state messe in atto e chiedendo, per verifica, le registrazioni filmate delle giornate precedenti. Dopo vari solleciti, invii di supporti difettati o custodie vuote e trasmissioni di immagini non riferite ai giorni indicati, il 9 gennaio 2006 le registrazioni richieste sono infine pervenute all'autorità. Analizzatele, quest'ultima ha constatato che il display era stato reso leggibile attraverso l'impianto video solo a partire dal 7 novembre e che le registrazioni non erano comunque complete, perché ogni giorno vi era un'interruzione di circa un minuto.
Il 27 giugno 2006, nel corso di un ulteriore controllo, la Commissione federale delle case da gioco non ha più rilevato problemi particolari.
B. Dopo aver prospettato alla A._SA l'adozione di una sanzione amministrativa ed averne raccolto le osservazioni, con decisione del 25 ottobre 2006 la Commissione federale delle case da gioco l'ha condannata al pagamento di fr. 743'000.--, pari allo 0,75 % del prodotto lordo dei giochi conseguito nel 2004. L'autorità ha giudicato tale importo proporzionato alle violazioni commesse, ritenuto tra l'altro che in casi gravi la sanzione può raggiungere il 20 % del prodotto lordo dei giochi.
Il 10 gennaio 2008 il Tribunale amministrativo federale, Corte II, ha parzialmente accolto l'impugnativa interposta dalla multata contro la pronuncia della Commissione federale delle case da gioco. L'autorità di ricorso ha confermato che la A._SA ha violato le disposizioni in materia di videosorveglianza, ma, considerati i provvedimenti pronunciati in altri casi, la durata della situazione illegale e il seguito dato alle ingiunzioni della Commissione, ha ritenuto adeguata una sanzione di fr. 100'000.--.
C. Con ricorsi in materia di diritto pubblico del 22, rispettivamente del 25 febbraio 2008, sia la A._SA (inc. n. 2C_177/2008) sia la Commissione federale delle case da gioco (inc. n. 2C_182/2008) sono insorte dinanzi al Tribunale federale. Entrambe chiedono che la sentenza del Tribunale amministrativo federale sia annullata. La A._SA domanda inoltre che non le sia inflitta alcuna sanzione. Dei rispettivi motivi si dirà, per quanto necessario, nei considerandi.
Invitate ad esprimersi, entrambe le ricorrenti hanno chiesto, sulla base di circostanziate osservazioni, che il gravame presentato dalla controparte sia respinto. Il Tribunale amministrativo federale ha invece rinviato alle motivazioni della propria sentenza.
Diritto:
1. Le due impugnative sono dirette contro la stessa sentenza, si riferiscono ai medesimi fatti e sono state presentate, ovviamente con finalità opposte, dalle due parti in litigio. Per ragioni di economia di procedura, si giustifica pertanto di congiungerle e di evaderle con un unico giudizio (cfr. art. 71 LTF e 24 PC).
2. Interposti in tempo utile (art. 100 cpv. 1 LTF), i ricorsi sono rivolti contro una decisione del Tribunale amministrativo federale (art. 86 cpv. 1 lett. a LTF) in una causa di diritto pubblico (art. 82 lett. a LTF) che non ricade sotto alcuna delle eccezioni previste dall'art. 83 LTF. La A._SA è legittimata a ricorrere poiché è particolarmente toccata dalla pronuncia impugnata ed ha un interesse degno di protezione al suo annullamento (art. 89 cpv. 1 LTF), mentre la Commissione federale delle case da gioco trae la propria legittimazione dall'art. 89 cpv. 2 lett. d LTF combinato con l'art. 48 cpv. 3 lett. e della legge federale, del 18 dicembre 1998, sul gioco d'azzardo e sulle case da gioco (legge sulle case da gioco; LCG; RS 935.52). Entrambi i ricorsi, fondati sulla violazione del diritto federale (art. 95 lett. a LTF) e debitamente motivati (art. 42 cpv. 1 e 2 LTF), sono quindi ammissibili.
3. 3.1 Secondo l'art. 2 cpv. 1 LCG, la legge sulle case da gioco ha lo scopo di (a) garantire una gestione sicura e trasparente dei giochi, (b) impedire la criminalità ed il riciclaggio di denaro nelle case da gioco o tramite le stesse e (c) prevenire le conseguenze socialmente nocive del gioco. L'art. 14 cpv. 3 LCG demanda al Consiglio federale il compito di stabilire i requisiti della concezione di sicurezza e della concezione sociale. A questo proposito, l'art. 30 dell'ordinanza del Consiglio federale, del 24 settembre 2004, sul gioco d'azzardo e le case da gioco (ordinanza sulle case da gioco; OCG; RS 935.521) impone tra l'altro a queste ultime di dotarsi di un sistema di videosorveglianza (cpv. 1), conforme alle esigenze fissate dal Dipartimento (cpv. 7). Tali esigenze sono contenute nell'ordinanza del Dipartimento federale di giustizia e polizia, del 24 settembre 2004, sui sistemi di sorveglianza e sul gioco d'azzardo (Ordinanza sul gioco d'azzardo; OGAz; RS 935.521.21), che prevede l'obbligo di sottoporre a videosorveglianza i locali (art. 3), i tavoli da gioco e gli apparecchi automatici per i giochi d'azzardo (art. 4) nonché talune attività (art. 5).
Giusta l'art. 5 cpv. 1 OGAz le attività da sorvegliare sono: (a) le transazioni effettuate alla cassa, (b) il conteggio dei gettoni e del denaro incluso quello delle mance ("tronc"), (c) il ritiro del denaro dai giochi da tavolo e dagli apparecchi automatici per i giochi d'azzardo ed infine (d) il flusso di denaro e di gettoni tra gli apparecchi automatici per i giochi d'azzardo, i singoli tavoli da gioco, i contenitori per le mance ("tronc"), le casse e la cassaforte. In virtù del cpv. 2, per le attività di cui alle lettere a e b, il valore del denaro e dei gettoni deve essere riconoscibile.
3.2 In base all'art. 51 LCG, al concessionario che commette a proprio vantaggio un'infrazione alla concessione o a una decisione passata in giudicato è addebitato un importo fino a tre volte il guadagno ottenuto con l'infrazione. Qualora non vi sia alcun guadagno oppure quest'ultimo non possa essere stabilito né stimato, l'importo addebitato ammonta fino al 20 % del prodotto lordo dei giochi realizzato nell'ultimo anno d'esercizio. Un'infrazione alla concessione ai sensi di tale norma è data anche in caso di mancato rispetto di un obbligo previsto per legge se, come in concreto, nell'atto di concessione alla concessionaria viene espressamente imposto di ossequiare tutte le disposizioni legali.
4. 4.1 Nel caso specifico, la A._SA in questa sede non contesta più di aver violato i suoi obblighi legali in materia di videosorveglianza, come ritenuto dalla Commissione federale delle case da gioco e confermato dal Tribunale amministrativo federale.
D'altronde dall'attuale formulazione dell'art. 5 OGAz emerge in modo inequivocabile che mediante la videosorveglianza deve essere possibile seguire ininterrottamente il percorso del denaro da quando esce dalle mani del cliente a quando, dopo essere stato contato, viene depositato nella cassaforte della casa da gioco. Inoltre la norma non lascia spazio a dubbi sul fatto che le operazioni di conteggio devono essere filmate in modo da rendere leggibile la somma incassata.
Ora, la A._SA ha scelto di contare il denaro mediante degli apparecchi automatici. Tuttavia il sistema di videosorveglianza non permetteva di leggere i display di detti apparecchi. Risolto dapprima il problema in relazione al computo dei franchi, l'autorità di vigilanza ha constatato che la questione si poneva anche per l'apparecchio adibito al conteggio degli euro, il cui schermo era visibile solo se la ripresa veniva effettuata in un determinato modo. Sempre per il conteggio degli euro, la Commissione ha inoltre accertato che il trasporto a mano delle banconote dal tavolo dove le stesse venivano separate alla macchina contasoldi non era sufficientemente coperto dalle telecamere.
Queste constatazioni dimostrano che in taluni periodi il sistema di videosorveglianza adottato dalla A._SA non è risultato conforme alle esigenze poste dall'art. 5 OGAz, sia per quanto concerne la necessità di poter riconoscere il valore del denaro e dei gettoni contati, sia in riferimento all'obbligo di sorvegliare senza interruzioni il flusso del denaro. L'esistenza di un'infrazione alla concessione non può dunque che essere confermata.
4.2 A giusta ragione l'istanza inferiore ha peraltro rilevato anche i problemi sorti nella trasmissione alla Commissione federale della case da gioco delle informazioni e delle riprese video da essa richieste nell'esecuzione dei suoi compiti di vigilanza (cfr. art. 48 cpv. 3 lett. a LCG). In particolare, nel corso dell'ispezione dell'11 novembre 2005 la Commissione ha chiesto di poter ottenere in visione le immagini dei giorni precedenti, ma ha dapprima ricevuto in due occasioni dei cd difettati, poi le registrazioni di giorni non corrispondenti a quelli richiesti, quindi per due volte dei cd con immagini frammentarie, in seguito delle custodie vuote e finalmente, solo il 9 gennaio 2006, le immagini richieste. La A._SA non ha pertanto adempiuto in maniera scrupolosa i suoi obblighi di collaborazione con l'autorità di vigilanza. Anche sotto questo profilo può essere ravvisata un'infrazione della concessione.
5. 5.1 La A._SA ritiene che non possa comunque venirle inflitta alcuna sanzione perché non avrebbe tratto vantaggi dall'infrazione, come invece presuppone l'art. 51 LCG. Essa contesta la tesi del Tribunale amministrativo federale, che ha ammesso un vantaggio in termini organizzativo-amministrativi consistente nel risparmio delle misure poi adottate per migliorare l'organizzazione interna. Inoltre rimarca che lo stesso Tribunale amministrativo federale ha dichiarato di condividere la giurisprudenza della ora abrogata Commissione federale di ricorso delle case da gioco, secondo cui un vantaggio a livello organizzativo era dato soltanto quando gli accorgimenti necessari per conformarsi alle prescrizioni erano di un certo rilievo. Nel suo caso, le manchevolezze constatate sarebbero tuttavia state eliminate mediante provvedimenti semplici e puntuali, che le avrebbero addirittura permesso di ottenere dei risparmi.
5.2 In realtà, il vantaggio non può essere circoscritto al prezzo dell'interfaccia acquistata per connettere l'apparecchio per la conta dei franchi con le telecamere di sorveglianza e al costo della manodopera necessaria per installare tale impianto, per spostare la macchina per il conteggio degli euro e per mettere in atto la nuova procedura interna concernente la ripresa filmata del relativo conteggio.
La nozione di vantaggio va piuttosto rapportata ai potenziali rischi derivanti dall'insufficienza della procedura di videosorveglianza adottata dalla A._SA. In questo senso, l'impossibilità di seguire integralmente il percorso del denaro poteva tra l'altro consentire che una parte degli importi versati ai tavoli da gioco venisse indebitamente sottratta al conteggio ufficiale prima ancora del suo svolgimento. D'altra parte, la mancanza di immagini che riprendessero in modo riconoscibile i display degli apparecchi contasoldi impediva di verificare che gli incassi indicati nelle registrazioni contabili corrispondessero effettivamente agli importi di denaro contati. Di conseguenza, le lacune riscontrate non permettevano di garantire la completa trasparenza nella gestione dei giochi (art. 2 cpv. 1 lett. a LCG) e l'assoluta correttezza del prelievo fiscale, calcolato sul prodotto lordo dei giochi, ovvero sulla differenza tra le poste giocate e le vincite versate (art. 40 LCG). L'esistenza di un vantaggio per la casa da gioco, evidentemente non quantificabile, va ammessa già per il solo fatto che la mancanza di rigore nelle procedure di controllo poteva tra l'altro facilitare un'eventuale elusione fiscale. Non occorre che ciò sia effettivamente avvenuto.
Il Tribunale amministrativo federale ha pertanto ritenuto a giusta ragione adempiute tutte le condizioni legali per la pronuncia di una sanzione ai sensi dell'art. 51 LCG.
6. 6.1 Resta da esaminare la questione della quantificazione della sanzione, su cui è incentrato soprattutto il ricorso della Commissione federale delle case da gioco. Quest'ultima rileva che, secondo le categorie da essa stabilite per garantire condizioni di uniformità e trasparenza, l'infrazione accertata rientra tra le violazioni di media gravità, alle quali, secondo la sua prassi, applica una sanzione compresa tra lo 0,5 % e il 5 % del prodotto lordo dei giochi. La multa irrogata nel caso concreto, corrispondente allo 0,75 % del prodotto lordo dei giochi (nel 2004 pari a circa fr. 99'000'000.--), si situava peraltro in prossimità del limite inferiore di tale categoria. La sanzione di fr. 100'000.-- pronunciata dal Tribunale amministrativo federale, pari all'incirca allo 0,1 % del prodotto lordo dei giochi, sarebbe per contro addirittura inferiore al minimo previsto per le infrazioni lievi, inadatta a promuovere il rispetto dell'ordinamento giuridico e sproporzionatamente mite per rapporto all'attitudine della casa da gioco, che avrebbe adottato solo con riluttanza le misure necessarie per regolarizzare la situazione.
6.2 Considerate le potenziali conseguenze evidenziate in precedenza, le infrazioni commesse dalla A._SA per quanto concerne la videosorveglianza non possono né devono essere minimizzate. Del resto, il sistema di videosorveglianza è uno strumento importante del concetto di sicurezza delle case da gioco ed una qualsiasi falla in tale ambito può alimentare dubbi sull'efficacia complessiva delle misure attuate per perseguire gli scopi della legislazione in materia (cfr. art. 2 cpv. 1 LCG). Inoltre pure i ripetuti disguidi occorsi nella trasmissione all'autorità della documentazione richiesta denotano una certa superficialità.
Come rimarcato dall'autorità di vigilanza, va altresì tenuto presente che il controllo sull'esercizio dei giochi e sulle transazioni finanziarie connesse non è esercitato direttamente e sistematicamente in loco dall'autorità stessa, ma compete innanzitutto alla casa da gioco ed ai suoi servizi interni. La Commissione federale delle case da gioco compie ispezioni solo saltuarie, a campione (cfr. Messaggio del Consiglio federale sulla legge sulle case da gioco, in: FF 1997 III pag. 129 segg., in part. pag. 147 seg.). In tale ottica è quindi vero che al momento in cui quest'ultima ha formulato le prime critiche risultanti da un simile controllo puntuale, la A._SA avrebbe dovuto promuovere verifiche più generali sull'apparato di videosorveglianza, anziché porre rimedio unicamente al problema delle riprese video dell'apparecchio per i franchi. In particolare avrebbe dovuto adeguarsi, di sua iniziativa, anche per quanto attiene al dispositivo per il conteggio degli euro.
6.3 Tuttavia non può essere ignorato che le irregolarità rimproverate alla A._SA sono state riscontrate solo pochi mesi dopo l'entrata in vigore dell'attuale ordinanza sui giochi d'azzardo (cfr. art. 62 OGAz) con la quale è stato introdotto, o quantomeno precisato, l'obbligo di sorvegliare mediante telecamere anche le operazioni di conteggio nonché il flusso del denaro e dei gettoni fino alla cassaforte. In precedenza le esigenze in tema di videosorveglianza erano meno rigorose o comunque meno specifiche. L'art. 5 della pregressa ordinanza del 20 dicembre 2001 prescriveva infatti la videosorveglianza unicamente per seguire (a) il ritiro del denaro dai giochi da tavolo e dagli apparecchi automatici nonché (b) il flusso di denaro e di gettoni ai singoli giochi da tavolo (cfr. RU 2002 pag. 423). Durante gli anni in cui era applicabile la precedente norma il casinò di Mendrisio, aperto nell'ottobre del 2002, è peraltro stato sottoposto a diverse ispezioni, in alcune delle quali è stato verificato in modo specifico anche il sistema di videosorveglianza, che però non ha mai dato adito a critiche particolari.
Inoltre se è vero che l'interessata ha dimostrato una certa passività non effettuando spontaneamente una verifica globale del sistema di videosorveglianza, è anche vero che essa ha dato seguito entro termini ancora ragionevoli alle critiche puntuali dell'autorità. L'installazione dell'interfaccia per l'apparecchio per il conteggio dei franchi è infatti avvenuta dopo circa tre mesi dalla segnalazione scritta e ciò nonostante i disguidi sorti con il fornitore; l'autorità, al corrente delle misure previste, non ha del resto esercitato particolari pressioni quanto ai tempi. La soluzione per la ripresa filmata del conteggio degli euro è invece stata adottata dopo circa un mese dal primo generico scritto e nel giro di una settimana dalla seconda e più precisa comunicazione. Nello stesso termine di una settimana è pure stato effettuato lo spostamento dell'apparecchio per la conta degli euro. Le misure necessarie per conformarsi alle richieste dell'autorità sono del resto state semplici e non hanno imposto particolari modifiche organizzative.
La gravità delle infrazioni va poi anche relativizzata considerato che, per quanto concerne i franchi, l'apparecchio contasoldi emetteva scontrini cartacei con i risultati dei conteggi. Come riconosciuto in un primo tempo dalla stessa Commissione federale delle case da gioco, tali documenti permettevano quindi un certo controllo dei dati indicati in contabilità anche se non veniva filmato in modo riconoscibile il display. Per gli euro va invece tenuto conto che gli incassi in tale valuta costituivano all'incirca il 10 % del totale. Anche questi aspetti portano a ritenere che non vi fosse alcuna intenzionalità nell'elusione delle prescrizioni da parte della A._SA.
Infine, come dettagliatamente evidenziato da quest'ultima, la presunta prassi della Commissione in merito alla qualifica delle infrazioni e alle relative sanzioni è difficilmente ravvisabile. In effetti le decisioni a tale riguardo, riassunte nella sentenza impugnata, sono finora assai poco numerose ed appaiono comunque poco congruenti tra di loro e con i parametri di giudizio evocati dall'autorità di vigilanza. Riducendo ampiamente l'importo della sanzione, il Tribunale amministrativo federale non ha pertanto rimesso in discussione una prassi consolidata dell'autorità di prima istanza. D'altronde alla medesima può certo venir riconosciuta un'ampia latitudine di giudizio, come essa rivendica e come il Tribunale federale ha confermato nell'unico caso in questa materia in cui si è finora pronunciato (sentenza 2A.15/2005 del 27 maggio 2005, consid. 2.3). Non va tuttavia dimenticato che il Tribunale amministrativo federale, a differenza del Tribunale federale che esamina di principio solo la violazione del diritto (cfr. art. 95-98 LTF), rivede anche l'adeguatezza delle decisioni impugnate (cfr. art. 37 LTAF nonché art. 2 cpv. 4, 47 cpv. 1 lett. b e 49 lett. c PA; cfr. anche sentenza 2C_426/2007 del 22 novembre 2007, consid. 4.3).
6.4 Le considerazioni che precedono portano a concludere che la sanzione di fr. 100'000.-- inflitta dall'autorità precedente, pari allo 0,1 % del prodotto lordo dei giochi, pur apparendo forse un po' mite per rapporto alle infrazioni commesse, non risulta comunque lesiva del diritto (art. 95 lett. a LTF), in quanto rientra nei limiti del vasto potere di apprezzamento del Tribunale amministrativo federale.
7. 7.1 Ne segue che i ricorsi vanno entrambi respinti e la decisione impugnata confermata.
7.2 Secondo soccombenza, ogni parte sopporta le spese giudiziarie per la procedura relativa al ricorso che ha interposto (art. 65 e 66 cpv. 1 LTF), ritenuto che la Commissione federale delle case da gioco non ne è dispensata poiché aveva un interesse anche pecuniario all'accoglimento del proprio gravame (art. 66 cpv. 4 LTF). In relazione a quest'ultimo, la Commissione dovrà inoltre versare un'indennità per ripetibili alla A._SA, che in tale procedura risulta parte vincente ed è patrocinata da un avvocato (art. 68 cpv. 1 e 2 LTF). All'autorità di prima istanza non vengono per contro assegnate ripetibili per quanto attiene all'impugnativa della controparte (art. 68 cpv. 3 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Le cause 2C_177/2008 e 2C_182/20008 sono congiunte.
2. I ricorsi sono respinti.
3. Per la causa 2C_177/2008, le spese giudiziarie di fr. 5'000.-- sono poste a carico della A._SA e non si assegnano ripetibili.
4. Per la causa 2C_182/2008, le spese giudiziarie di fr. 5'000.-- sono poste a carico della Commissione federale delle case da gioco, che rifonderà inoltre alla A._SA un'indennità di fr. 5'000.-- a titolo di ripetibili della sede federale.
5. Comunicazione al patrocinatore della A._SA, alla Commissione federale delle case da gioco e al Tribunale amministrativo federale, Corte II.