Fatti: A. A._ è proprietario dei fondi part. n. 570 e 1914 di Mendrisio, su cui sono esercitate le attività di commercio e di riparazione di veicoli della ditta B._ SA, oltre ad alcune altre attività accessorie, quali bar e ufficio di cambio. Il fondo part. n. 570 è lungo circa 100 m e dispone di tre accessi veicolari su via Vignalunga. B. Il 28 ottobre 2013 la Sezione amministrativa del Dipartimento del territorio del Cantone Ticino ha disposto la pubblicazione del progetto stradale e dei piani espropriativi per la sistemazione di via Penate nel Comune di Mendrisio. Il progetto prevede l'esecuzione di opere volte a trasformare via Penate da strada industriale a fondo cieco a strada di collegamento tra il nuovo svincolo autostradale di Mendrisio e la rete stradale principale, nonché per svolgere la funzione di circonvallazione dell'abitato di Mendrisio per il traffico di transito. Gli interventi, previsti su una lunghezza di circa 1 km, comportano l'adeguamento del calibro stradale a 7 m, la formazione di tre nuove rotonde con un diametro di 34 m agli incroci di via Penate con via Laveggio (rotonda Laveggio), con via Morée (rotonda Morée) e con le vie Vignalunga e San Martino (rotonda Vignalunga), la sistemazione degli accessi privati e di due ponti, la realizzazione di marciapiedi e di una pista ciclabile e la costruzione di due pareti antirumore. In particolare, per la rotonda Vignalunga sono previsti accessi in doppia corsia dai due tronchi di via Vignalunga e accessi singoli sua via Penate e via San Martino. Con riferimento al fondo part. n. 570, che verrebbe a trovarsi in contiguità con la rotonda Vignalunga, il progetto prevede segnatamente l'esproprio di una superficie di 31 m2, lo spostamento verso nord dell'accesso veicolare centrale e la riduzione della sua larghezza, come pure il restringimento dell'accesso a sud. C. Entro il termine di pubblicazione, diversi proprietari di fondi interessati dal progetto, tra i quali A._, hanno presentato opposizione al Consiglio di Stato. L'opponente ha essenzialmente contestato il dimensionamento della rotonda Vignalunga e le limitazioni degli accessi alla sua proprietà. Il 24 marzo 2014 ha inoltrato all'autorità cantonale una proposta di variante del progetto stradale allestita dall'ing. C._, da lui incaricato congiuntamente con un altro opponente, che prevedeva la riduzione del diametro della rotonda Vignalunga a 25 m e l'innesto di via San Martino direttamente su via Penate senza immissione sulla rotatoria. D. Con risoluzione del 1° luglio 2015 il Consiglio di Stato ha approvato il progetto stradale, integrandolo con alcune modifiche. L'opposizione di A._ è stata parzialmente accolta, limitatamente alla richiesta di allargare l'accesso centrale e quello sud al fondo part. n. 570, per permettere l'entrata e l'uscita contemporanea di due veicoli. A carico dell'ente esecutore dell'opera è stato imposto l'onere di elaborare in fase realizzativa un piano esecutivo di sistemazione degli accessi da sottoporre all'opponente per consenso. E. Con sentenza del 24 agosto 2017, il Tribunale cantonale amministrativo ha parzialmente accolto un ricorso di A._ contro la risoluzione governativa, annullandola nella misura in cui rinviava alla fase esecutiva l'elaborazione della variante al progetto stradale relativa al fondo part. n. 570. La Corte cantonale ha disposto che la risoluzione di approvazione del progetto stradale fosse integrata (anche) con uno specifico piano del 10 ottobre 2015 denominato "accesso mappale 570", prodotto dal Consiglio di Stato con la risposta al ricorso. F. A._ impugna questa sentenza con un ricorso in materia di diritto pubblico del 2 ottobre 2017 al Tribunale federale, chiedendo di annullarla e di rinviare gli atti alla Corte cantonale, affinché emani una nuova decisione dopo avere assunto le prove richieste. Il ricorrente, che postula pure la concessione dell'effetto sospensivo, fa valere la violazione del diritto di essere sentito, l'eccesso e l'abuso del potere di apprezzamento, la violazione del divieto dell'arbitrio e del principio della proporzionalità. Non sono state chieste osservazioni sul ricorso, ma è stato richiamato l'incarto cantonale.