Fatti:
A.
A._ è proprietario dei fondi part. n. 570 e 1914 di Mendrisio, su cui sono esercitate le attività di commercio e di riparazione di veicoli della ditta B._ SA, oltre ad alcune altre attività accessorie, quali bar e ufficio di cambio. Il fondo part. n. 570 è lungo circa 100 m e dispone di tre accessi veicolari su via Vignalunga.
B.
Il 28 ottobre 2013 la Sezione amministrativa del Dipartimento del territorio del Cantone Ticino ha disposto la pubblicazione del progetto stradale e dei piani espropriativi per la sistemazione di via Penate nel Comune di Mendrisio. Il progetto prevede l'esecuzione di opere volte a trasformare via Penate da strada industriale a fondo cieco a strada di collegamento tra il nuovo svincolo autostradale di Mendrisio e la rete stradale principale, nonché per svolgere la funzione di circonvallazione dell'abitato di Mendrisio per il traffico di transito. Gli interventi, previsti su una lunghezza di circa 1 km, comportano l'adeguamento del calibro stradale a 7 m, la formazione di tre nuove rotonde con un diametro di 34 m agli incroci di via Penate con via Laveggio (rotonda Laveggio), con via Morée (rotonda Morée) e con le vie Vignalunga e San Martino (rotonda Vignalunga), la sistemazione degli accessi privati e di due ponti, la realizzazione di marciapiedi e di una pista ciclabile e la costruzione di due pareti antirumore. In particolare, per la rotonda Vignalunga sono previsti accessi in doppia corsia dai due tronchi di via Vignalunga e accessi singoli sua via Penate e via San Martino.
Con riferimento al fondo part. n. 570, che verrebbe a trovarsi in contiguità con la rotonda Vignalunga, il progetto prevede segnatamente l'esproprio di una superficie di 31 m2, lo spostamento verso nord dell'accesso veicolare centrale e la riduzione della sua larghezza, come pure il restringimento dell'accesso a sud.
C.
Entro il termine di pubblicazione, diversi proprietari di fondi interessati dal progetto, tra i quali A._, hanno presentato opposizione al Consiglio di Stato. L'opponente ha essenzialmente contestato il dimensionamento della rotonda Vignalunga e le limitazioni degli accessi alla sua proprietà. Il 24 marzo 2014 ha inoltrato all'autorità cantonale una proposta di variante del progetto stradale allestita dall'ing. C._, da lui incaricato congiuntamente con un altro opponente, che prevedeva la riduzione del diametro della rotonda Vignalunga a 25 m e l'innesto di via San Martino direttamente su via Penate senza immissione sulla rotatoria.
D.
Con risoluzione del 1° luglio 2015 il Consiglio di Stato ha approvato il progetto stradale, integrandolo con alcune modifiche. L'opposizione di A._ è stata parzialmente accolta, limitatamente alla richiesta di allargare l'accesso centrale e quello sud al fondo part. n. 570, per permettere l'entrata e l'uscita contemporanea di due veicoli. A carico dell'ente esecutore dell'opera è stato imposto l'onere di elaborare in fase realizzativa un piano esecutivo di sistemazione degli accessi da sottoporre all'opponente per consenso.
E.
Con sentenza del 24 agosto 2017, il Tribunale cantonale amministrativo ha parzialmente accolto un ricorso di A._ contro la risoluzione governativa, annullandola nella misura in cui rinviava alla fase esecutiva l'elaborazione della variante al progetto stradale relativa al fondo part. n. 570. La Corte cantonale ha disposto che la risoluzione di approvazione del progetto stradale fosse integrata (anche) con uno specifico piano del 10 ottobre 2015 denominato "accesso mappale 570", prodotto dal Consiglio di Stato con la risposta al ricorso.
F.
A._ impugna questa sentenza con un ricorso in materia di diritto pubblico del 2 ottobre 2017 al Tribunale federale, chiedendo di annullarla e di rinviare gli atti alla Corte cantonale, affinché emani una nuova decisione dopo avere assunto le prove richieste. Il ricorrente, che postula pure la concessione dell'effetto sospensivo, fa valere la violazione del diritto di essere sentito, l'eccesso e l'abuso del potere di apprezzamento, la violazione del divieto dell'arbitrio e del principio della proporzionalità.
Non sono state chieste osservazioni sul ricorso, ma è stato richiamato l'incarto cantonale.

Diritto:
1.
Presentato contro una decisione finale dell'ultima istanza cantonale in ambito di progetto stradale, il ricorso in materia di diritto pubblico, tempestivo (<ref-law>), è ammissibile sotto il profilo degli art. 82 lett. a, 86 cpv. 1 lett. d e 90 LTF. La legittimazione del ricorrente, proprietario di un fondo confinante con la strada oggetto degli interventi edilizi e parzialmente toccato da espropriazione, è data giusta l'<ref-law>.
2.
2.1. Il ricorrente lamenta la violazione del diritto di essere sentito per il fatto che in sede cantonale non è stata assunta la perizia giudiziaria richiesta, né sono stati sentiti i testimoni da lui indicati. Adduce che la perizia avrebbe permesso di verificare la possibilità di realizzare la rotonda Vignalunga con un diametro di 32 m o addirittura inferiore, di evidenziare il mancato rispetto delle norme dell'Unione dei professionisti svizzeri della strada (VSS) e del principio dell'uso parsimonioso del territorio, come pure di appurare la fattibilità di soluzioni alternative, in particolare di quella prospettata dall'ing. C._. Quanto ai testimoni, essi avrebbero potuto dimostrare sia le future intenzioni pianificatorie del Comune, il quale prevederebbe di declassare via San Martino e via Vignalunga, sia il fatto che il ricorrente sarebbe stato il destinatario di una promessa non mantenuta da parte dell'autorità. Rimprovera alla Corte cantonale di non essersi espressa sulla rilevanza della prova testimoniale e sulla relativa censura di violazione del principio della buona fede.
2.2. Il diritto di essere sentito, sancito dall'<ref-law>, comprende il diritto per l'interessato di consultare l'incarto, di offrire mezzi di prova su punti rilevanti e di esigerne l'assunzione, di partecipare alla stessa e di potersi esprimere sulle relative risultanze nella misura in cui possano influire sulla decisione (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.3). La garanzia del diritto di essere sentito non impedisce all'autorità cantonale di procedere a un apprezzamento anticipato delle prove richieste e di rinunciare ad assumerle, se è convinta che non possono condurla a modificare il suo giudizio. Nell'ambito di questa valutazione, le spetta un vasto margine di apprezzamento e il Tribunale federale interviene solo in caso di arbitrio (<ref-ruling> consid. 3.3; <ref-ruling> consid. 5.3 e rinvii).
2.3. La Corte cantonale ha spiegato per quali ragioni poteva statuire sul gravame sulla base degli atti, senza assumere ulteriori prove. Ha ritenuto che sia il sopralluogo sia la perizia richiesti erano superflui ai fini del giudizio ed ha quindi rinunciato ad assumerli in base ad un apprezzamento della loro irrilevanza. Ha infatti rilevato che la situazione dei luoghi risultava con chiarezza dagli atti e che le verifiche che avrebbero dovuto essere eseguite mediante la perizia coincidevano in sostanza con la materia del contendere. Ha comunque ritenuto la documentazione agli atti sufficiente per statuire sul progetto stradale, considerato altresì che le "Note" elaborate dall'esperto incaricato dal ricorrente e la relativa presa di posizione dell'autorità cantonale, prodotti rispettivamente con l'allegato di ricorso e con la risposta, permettevano di chiarire laddove necessario gli aspetti controversi.
2.4. In questa sede, il ricorrente ribadisce che la prospettata perizia giudiziaria dovrebbe in sostanza chiarire se il progetto rispetta le norme in materia di costruzioni stradali e se sono possibili soluzioni alternative, quale in particolare quella prospettata dall'esperto di parte. Si tratta al riguardo di questioni che concernono la conformità del progetto stradale al diritto vigente e che sono state esaminate dalla Corte cantonale nel giudizio impugnato. In particolare la precedente istanza ha vagliato il progetto sotto il profilo del rispetto dell'art. 6 della legge cantonale sulle strade, del 23 marzo 1983 (Lstr; RL 7.2.1.2), e della norma VSS 640 263 (del dicembre 1999) relativa alle rotatorie. Sapere se il progetto rispetta le normative tecniche applicabili è una questione di diritto che concerne il merito del giudizio impugnato e che verrà esaminata nei considerandi seguenti nella misura in cui le censure ricorsuali sono sufficientemente motivate. Non risulta, né è seriamente addotta, la mancanza di determinati accertamenti di fatto necessari per statuire con cognizione di causa sul progetto stradale pubblicato. Pronunciando il proprio giudizio sulla base della documentazione agli atti, senza esperire la perizia richiesta, la Corte cantonale non è quindi incorsa nell'arbitrio, né ha violato il diritto di essere sentito del ricorrente.
2.5. Certo, i giudici cantonali non si sono espressi in modo esplicito sull'irrilevanza delle audizioni testimoniali richieste. Tali prove, così come l'accenno alla tutela della buona fede, sono tuttavia state addotte dal ricorrente in relazione con la domanda di annullare, rispettivamente di modificare il progetto stradale per quanto concerne l'area di cantiere prevista su due fondi di proprietà altrui situati sul fronte opposto di via Vignalunga. La Corte cantonale ha considerato che tale domanda era nuova e pertanto inammissibile in applicazione dell'art. 70 cpv. 2 della legge ticinese sulla procedura amministrativa, del 24 settembre 2013 (LPAmm; RL 3.3.1.1), giacché con l'opposizione il ricorrente aveva contestato unicamente l'ubicazione della rotonda e la soluzione prevista per gli accessi ai suoi fondi. In tali circostanze, poiché il tema dell'area di cantiere esulava dall'oggetto del litigio, la Corte cantonale ha implicitamente ritenuto irrilevanti per il giudizio le prospettate audizioni testimoniali e le ha quindi respinte. In questa sede il ricorrente non contesta la decisione d'inammissibilità della domanda per il suo carattere di novità; non fa in particolare valere l'applicazione arbitraria dell'art. 70 cpv. 2 LPAmm. Non vi sono di conseguenza ragioni per ritenere il diniego delle prove testimoniali lesivo del diritto di essere sentito del ricorrente. Questi adduce altresì che l'audizione del direttore dell'Ufficio tecnico comunale mirava anche a dimostrare le future intenzioni pianificatorie del Comune di Mendrisio, che prevederebbe di qualificare via San Martino come strada di quartiere e di declassare un tratto di via Vignalunga a sud della prevista rotonda. Tuttavia, l'oggetto della controversia concerne la conformità al diritto in vigore di un progetto stradale di valenza cantonale, destinato in particolare a collegare il nuovo svincolo autostradale alla rete stradale principale ed a fungere da circonvallazione dell'abitato di Mendrisio per il traffico di transito. Il progetto ha quindi una portata generale, che eccede l'ambito strettamente locale (cfr. art. 4 e 9 segg. Lstr). Senza violare il divieto dell'arbitrio e il diritto di essere sentito del ricorrente, la Corte cantonale poteva perciò ritenere non decisive le eventuali intenzioni del Comune riguardo alla pianificazione delle strade locali, rinunciando ad approfondirle.
3.
3.1. Il ricorrente fa valere un accertamento manifestamente inesatto dei fatti e un esercizio abusivo del potere di apprezzamento. Rimprovera nuovamente alla Corte cantonale di non avere fornito una motivazione sulla reiezione dell'audizione testimoniale e sulla censura di violazione del principio della buona fede e di avere rinunciato in modo abusivo ad ordinare una perizia giudiziaria. Adduce che il rapporto peritale dell'esperto da lui incaricato avrebbe dovuto fare sorgere dubbi all'autorità sul fatto che il progetto non rispettava le norme VSS e il principio della proporzionalità: ciononostante la Corte cantonale non ha eseguito un'istruttoria, ma si sarebbe limitata a confermare il progetto, basato essenzialmente solo su valutazioni empiriche.
3.2. Conformemente a quanto stabilito dagli art. 95 e 96 LTF, il ricorso in materia di diritto pubblico al Tribunale federale può essere presentato per violazione del diritto, nel quale rientra pure il diritto costituzionale (<ref-ruling> consid. 3; <ref-ruling> consid. 1.4.1). Secondo l'<ref-law>, nel ricorso occorre almeno concisamente confrontarsi con le considerazioni esposte nella decisione impugnata (<ref-ruling> consid. 2.1; <ref-ruling> consid. 1.4.1). Le esigenze di motivazione sono inoltre accresciute laddove è invocata la violazione di diritti fondamentali e di norme del diritto cantonale, come pure l'accertamento arbitrario dei fatti (<ref-law>; <ref-ruling> consid. 1.4.1). Per motivare l'arbitrio non basta criticare semplicemente la decisione impugnata, contrapponendole una versione propria. Occorre piuttosto dimostrare per quale motivo l'accertamento dei fatti o la valutazione delle prove sono manifestamente insostenibili, si trovano in chiaro contrasto con la fattispecie, si fondano su una svista manifesta o contraddicono in modo urtante il sentimento della giustizia e dell'equità (<ref-ruling> consid. 5.4; <ref-ruling> consid. 2.1; <ref-ruling> consid. 3.1, 8 consid. 2.1 e rinvii).
3.3. Con le esposte argomentazioni il ricorrente ribadisce sostanzialmente le critiche riguardanti la mancata assunzione delle prove richieste, già esaminate ai precedenti considerandi. Per il resto, egli si limita ad esporre un suo parere senza confrontarsi puntualmente con le considerazioni contenute nel giudizio impugnato, spiegando per quali ragioni esse violerebbero il diritto o sarebbero fondate su accertamenti di fatto manifestamente in contrasto con gli atti. La Corte cantonale ha esaminato in modo circostanziato il dimensionamento della rotonda Vignalunga, in particolare sotto il profilo delle esigenze tecniche previste dalla norma VSS 640 263. Il ricorrente non si confronta specificatamente con tale valutazione, esposta al considerando n. 5 della sentenza impugnata, e non tiene conto degli accertamenti relativi ai volumi di traffico giornaliero su via Vignalunga e via Penate e all'aumento pronosticato nel periodo 2020/2030. Egli rimette in discussione in modo appellatorio l'adeguatezza del diametro della rotatoria (34 m) invocando la possibilità di una sua riduzione, in ogni caso ad almeno 32 m. Il Tribunale federale non è però un'autorità superiore di pianificazione e deve limitarsi ad esaminare se la decisione impugnata è conforme al diritto, rispettivamente, trattandosi dell'accertamento dei fatti e dell'applicazione del diritto cantonale, se la stessa non è arbitraria. Non deve per contro valutare se la soluzione pianificatoria scelta dal Cantone sia la migliore tra le alternative possibili (<ref-ruling> consid. 3c). Questa Corte si impone inoltre riserbo in presenza di situazioni locali meglio conosciute dalle autorità cantonali (<ref-ruling> consid. 4.2.1 e rinvii) e di quesiti tecnici (sentenza 1C_335/2015 del 3 marzo 2016 consid. 1.3). Nella misura in cui il progetto stradale è conforme al diritto, non spetta quindi al Tribunale federale stabilire se un diametro della rotatoria di 32 m sia più adeguato rispetto a quello di 34 m previsto dai piani di pubblicazione. In tali condizioni, il gravame non adempie le citate esigenze di motivazione ed è pertanto inammissibile.
4.
4.1. Il ricorrente sostiene che l'allacciamento di via San Martino alla rotatoria contrasterebbe con la norma VSS 640 263, che sconsiglia la realizzazione di rotatorie di tipo compatto ("Kleinkreisel", "carrefours giratoires compacts") in caso di collegamento di strade di tipologie molto differenziate sotto il profilo della gerarchia e dell'importanza dei volumi di traffico (cfr. norma VSS 640 263 punto A4 pag. 4). Adduce che via San Martino costituirebbe una semplice strada di quartiere con un volume di traffico minimo rispetto a quello su via Vignalunga e via Penate. Secondo il ricorrente, questa circostanza avrebbe dovuto condurre la Corte cantonale a dare seguito alla richiesta di ordinare una perizia.
4.2. I giudici cantonali hanno riconosciuto che via San Martino presenta effettivamente un volume di traffico molto ridotto. Hanno tuttavia considerato che gli importanti volumi su via Vignalunga e via Penate giustificavano comunque la realizzazione della rotatoria di tipo compatto. Hanno rilevato che la variante proposta dall'esperto di parte di innestare via San Martino direttamente su via Penate, era problematica sotto il profilo della sicurezza stradale ed era calibrata per rapporto alla realizzazione di una mini-rotatoria. Hanno in particolare ravvisato un conflitto tra i veicoli in uscita dalla rotonda in direzione di via Penate e quelli provenienti da via San Martino, concludendo che la soluzione prevista dal progetto stradale, di raggruppare i punti di intersezione in un unico luogo mediante l'allacciamento di tutte le vie alla rotonda, offriva maggiori garanzie di sicurezza. Il ricorrente non si confronta con queste considerazioni e non sostanzia quindi una violazione del diritto con una motivazione conforme alle esposte esigenze. Insufficientemente motivata, la censura non deve pertanto essere esaminata oltre.
5.
5.1. Il ricorrente sostiene che la Corte cantonale avrebbe ritenuto a torto sufficientemente determinati gli accessi al suo fondo part. n. 570 fondandosi su un piano (n. 142.009 P/112 del 10 ottobre 2015) che li indicherebbe soltanto sommariamente. Le rimprovera inoltre di avere escluso problemi realizzativi legati ad eventuali differenze di altezza tra il fondo e il campo stradale basandosi su un altro piano (n. 142.009 P/007 del 20 agosto 2013) indicante due sezioni che sarebbero imprecise quanto al loro contenuto ed al tratto stradale cui si riferiscono. Secondo il ricorrente, il progetto degli accessi dovrebbe essere presentato in maniera maggiormente dettagliata, nelle forme previste per la domanda di costruzione.
5.2. La Corte cantonale ha accertato che il piano 142.009 P/112 in scala 1:500 del 10 ottobre 2015, denominato "accesso mappale 570", contiene tutti gli elementi necessari per valutarne l'attuabilità: esso indica la riorganizzazione del piazzale esistente sul fondo e utilizza gli stessi tratteggi, colori e simboli riportati nelle varie "legende" del progetto stradale. Questi accertamenti non sono censurati d'arbitrio con una motivazione conforme alle esigenze dell'<ref-law> e sono pertanto vincolanti per il Tribunale federale (cfr. <ref-law>). Il ricorrente sostiene che su detto piano gli accessi sarebbero indicati soltanto sommariamente mediante frecce bidirezionali e che non figurerebbe la modalità di riorganizzazione del piazzale. Tuttavia, l'indicazione degli accessi mediante frecce bidirezionali è analoga a quella applicata agli altri fondi interessati dal progetto stradale e permette di localizzarli in modo tutto sommato sostenibile. Detto piano indica poi la disposizione dei posteggi sul piazzale e la possibile direzione di marcia dei veicoli.
Quanto al piano 142.009 P/007 del 20 agosto 2013, denominato "sezioni trasversali", esso indica le sezioni n. 51 e n. 53. Contrariamente al parere del ricorrente, il tratto di strada cui si riferiscono è accertabile agevolmente facendo capo alla planimetria del progetto stradale (piano n. 142.009 P/003 del 20 agosto 2013). Dalla stessa risulta in modo chiaro che tali sezioni sono in corrispondenza dell'accesso centrale e di quello a sud della particella n. 570. Come rettamente rilevato dalla Corte cantonale, da tali sezioni trasversali non risulta un dislivello di rilievo tra la strada e il fondo del ricorrente. Laddove sostiene poi che gli accessi al fondo dovrebbero essere presentati nelle forme della domanda di costruzione, egli disattente ch'essi rientrano nel progetto stradale (cfr. art. 10 cpv. 2 lett. a Lstr), sicché devono essere allestiti nel contesto di questa procedura. Ne consegue che, anche sui citati aspetti, il gravame è infondato nella misura della sua ammissibilità.
6.
6.1. Il ricorrente fa valere la violazione del principio della proporzionalità, adducendo che la realizzazione della rotatoria con un diametro di 34 m, come previsto dal progetto stradale, limiterebbe eccessivamente il suo diritto di proprietà, essendo possibile costruire l'impianto con un diametro di 32 m, ciò che permetterebbe di evitare l'espropriazione parziale del suo fondo.
6.2. Il principio della proporzionalità esige che le misure adottate dallo Stato siano idonee a raggiungere lo scopo desiderato e che, di fronte a soluzioni diverse, si scelgano quelle meno pregiudizievoli per i diritti dei privati (<ref-ruling> consid. 6.2.1; <ref-ruling> consid. 4.2.1). In materia espropriativa, ciò non significa tuttavia che la restrizione della proprietà debba limitarsi a quanto è assolutamente indispensabile alla realizzazione dell'intervento d'interesse pubblico, potendo per contro estendersi a quanto è necessario dal profilo tecnico e da quello giuridico all'esecuzione adeguata del provvedimento in discussione (cfr. <ref-ruling> consid. 6a; sentenza 1P.465/2004 del 15 agosto 2005 consid. 2.3, in: RtiD I-2006, pag. 97 segg.).
6.3. La Corte cantonale ha spiegato in modo puntuale, segnatamente sulla base dei volumi del traffico su via Vignalunga e via Penate, del livello superiore di tali strade, delle esigenze di garantire la fluidità della circolazione e delle funzioni che la rotonda dovrà svolgere nel contesto del futuro svincolo autostradale di Mendrisio, per quali ragioni il suo dimensionamento non prestava il fianco a critiche. Come visto, il ricorrente non dimostra che in concreto il dimensionamento della rotatoria violerebbe il diritto; d'altra parte il Tribunale federale non è abilitato a rivedere l'adeguatezza dell'impianto progettato (cfr. consid. 3). Alla luce di queste premesse, considerato l'adeguato dimensionamento della rotatoria sotto il profilo tecnico, l'asserzione secondo cui un'altra soluzione sarebbe stata teoricamente possibile senza esproprio parziale della particella non basta di per sé a fare ritenere sproporzionata la restrizione della proprietà del ricorrente.
7.
Ne segue che il ricorso deve essere respinto nella misura della sua ammissibilità. Le spese giudiziarie seguono la soccombenza e sono quindi poste a carico del ricorrente (<ref-law>).
L'emanazione del presente giudizio rende priva d'oggetto la domanda di conferimento dell'effetto sospensivo contenuta nel gravame.

Per questi motivi, il Tribunale federale pronuncia:
1.
Nella misura in cui è ammissibile, il ricorso è respinto.
2.
Le spese giudiziarie di fr. 3'000.-- sono poste a carico del ricorrente.
3.
Comunicazione ai patrocinatori del ricorrente, al Comune di Mendrisio, al Consiglio di Stato e al Tribunale amministrativo del Cantone Ticino.