Fatti: A. Il 21 maggio 2012, al termine di una procedura di concorso retta dalla legge ticinese sulle commesse pubbliche del 20 febbraio 2001 (LCPubb; RL/TI 7.1.4.1), la Fondazione B._ ha aggiudicato alla A._ SA, le opere di pavimentazione e rivestimento di pareti in linoleum e sintetici del nuovo Centro C._ di X._. La delibera ha suscitato le proteste di diverse associazioni di categoria, le quali - in breve - dubitavano che l'aggiudicataria disponesse di un numero sufficiente di posatori di pavimenti. Il 18 settembre 2012 la Commissione paritetica cantonale del ramo della posa di pavimenti ha accertato che la A._ SA occupava sul cantiere di X._ cinque lavoratori assunti dopo l'aggiudicazione per tempo determinato. Qualche giorno dopo è stata presentata al Consiglio di Stato ticinese un'interpellanza volta a conoscere i motivi che avevano permesso di aggiudicare la commessa specialistica alla A._ SA, la quale disponeva soltanto di due posatori di pavimenti occupati stabilmente, che non erano peraltro stati impiegati a X._. Il 2 ottobre 2012, durante una riunione svoltasi tra le diverse parti interessate presso l'Ufficio cantonale dei lavori sussidiati e degli appalti, la A._ SA ha riconosciuto questi fatti, precisando che per il cantiere di X._ aveva assunto appositamente a tempo determinato cinque lavoratori stranieri. B. Il 5 dicembre 2012, al termine di un'inchiesta amministrativa avviata dall'Ufficio di conciliazione, il Consiglio di Stato ha sanzionato la A._ SA per avere ottenuto l'aggiudicazione sulla scorta di indicazioni false: in applicazione dell'art. 45 LCPubb l'ha esclusa per cinque mesi dalla partecipazione a tutti gli appalti retti da tale legge e le ha inflitto una pena pecuniaria di fr. 40'000.--. Il successivo ricorso è stato respinto dal Tribunale cantonale amministrativo con sentenza del 12 marzo 2013. C. La A._ SA insorge davanti al Tribunale federale con atto dell'8 aprile 2013 intitolato ricorso in materia di diritto pubblico e, subordinatamente, ricorso sussidiario in materia costituzionale. Chiede, oltre alla concessione dell'effetto sospensivo, in via principale che la sentenza cantonale sia annullata, in via subordinata che la sanzione sia limitata a una pena pecuniaria di fr. 20'000.-- oppure che l'esclusione dalla partecipazione agli appalti pubblici sia limitata al settore della posa di pavimenti. I servizi generali del Dipartimento del territorio ticinese propongono di respingere il ricorso con risposta del 25 aprile 2013, mentre la Commissione della concorrenza (COMCO) propone di annullare le sanzioni pronunciate dall'autorità cantonale con osservazioni dell'11 luglio 2013, perché le stesse violerebbero la legge federale sul mercato interno. Il 14 agosto 2013 la A._ SA ha dichiarato di condividere quest'ultima presa di posizione. D. Al ricorso è stato attribuito effetto sospensivo con decreto presidenziale del 14 maggio 2013.