Fatti: A. A.a. A._ è alle dipendenze dello Stato del Cantone Ticino dal mese di settembre 2010 all'80% come funzionario amministrativo 16-19 nella Sezione B._. Dal 1° gennaio 2017 è stato iscritto nella classe 18 dell'organico con quattro aumenti. Il 13 febbraio 2017 A._, rappresentanto da un sindacato, ha chiesto, sollecitando l'emanazione di una decisione, una riclassificazione della funzione con effetto retroattivo dal 1° febbraio 2012. A.b. Il Consiglio di Stato del Cantone Ticino con lettera del 7 giugno 2017 ha riferito di aver esaminato la funzione di A._ e ha rilevato che la promozione non si giustificava. Il 13 giugno 2017 A._, sempre rappresentato da un sindacato, ha inviato uno scritto al Consiglio di Stato, lamentando la carente motivazione della risposta e l'incomprensibilità del metodo adottato per confrontare le funzioni. L'11 luglio 2017 il Consiglio di Stato ha confermato il proprio operato, indicando i rimedi giuridici esperibili contro la propria risoluzione. B. Il Tribunale amministrativo del Cantone Ticino con giudizio del 19 settembre 2017 ha dichiarato irricevibile il ricorso di A._. C. A._ presenta un ricorso in materia di diritto pubblico, subordinatamente un ricorso sussidiario in materia costituzionale al Tribunale federale, con cui chiede sostanzialmente l'annullamento del giudizio cantonale e il rinvio al Tribunale cantonale amministrativo per nuova decisione nel merito del ricorso. Il Consiglio di Stato chiede che il ricorso sia respinto, mentre il Tribunale cantonale amministrativo si riconferma nel proprio giudizio.