Fatti:
A. A._ è titolare di una patente di idoneità all'insegnamento nelle scuole elementari, conseguita nel 1969 presso la Scuola Magistrale di Locarno. Ha insegnato sei anni nelle scuole elementari, un anno nelle scuole maggiori e tre anni nelle scuole medie. Successivamente, a partire dall'anno scolastico 2000/2001, ha lavorato come supplente nelle scuole medie. In tale veste ha in particolare supplito, dal 4 settembre 2006 al 10 febbraio 2007, presso la scuola media di Barbengo, un docente di matematica assente per malattia per 10 ore settimanali. Presso il medesimo istituto ha poi supplito, dall'11 febbraio al 20 giugno 2007, un altro docente di matematica per lo stesso numero di ore settimanali.
B. Nel corso del 2007, A._ ha chiesto di trasformare in ore d'incarico le ore di supplenza svolte presso la scuola media di Barbengo, richiesta alla quale il Dipartimento dell'educazione, della cultura e dello sport non ha tuttavia dato seguito. Con petizione del 14 maggio 2008, l'interessata ha convenuto lo Stato del Cantone Ticino dinanzi al Tribunale cantonale amministrativo chiedendo di accertare che il rifiuto di trasformare le ore di supplenza in ore di incarico è discriminante. Ha inoltre chiesto di riconoscerle il pagamento dello stipendio per il tempo dedicato a determinate attività svolte durante le supplenze dell'anno scolastico 2006/2007, postulando altresì la trasformazione in rapporto d'incarico delle supplenze effettuate nel corso di precedenti anni scolastici.
C. Con sentenza del 4 agosto 2008 il Tribunale cantonale amministrativo ha respinto la petizione. Ha rilevato che il rifiuto dell'autorità scolastica di trasformare la supplenza in incarico non rientrava nel novero delle decisioni impugnabili in quella sede; ha nondimeno ritenuto ch'esso era conforme al diritto. La Corte cantonale ha poi considerato che le supplenze svolte dall'interessata durante l'anno scolastico 2006/2007 dovevano essere valutate in modo distinto, trattandosi di due diverse supplenze concernenti docenti diversi. Ha quindi escluso che, così valutate, fossero di lunga durata, ritenendo per finire che la retribuzione inferiore rispetto a quella di un docente incaricato non costituiva una disparità di trattamento.
D. A._ impugna questo giudizio al Tribunale federale con un ricorso in materia di diritto pubblico e un ricorso sussidiario in materia costituzionale del 3 settembre 2008, chiedendo di annullarlo e di rinviare gli atti alla precedente istanza perché accolga in sostanza le domande formulate nella petizione. La ricorrente fa valere la violazione del divieto dell'arbitrio e della reformatio in peius, dei principi della parità di trattamento, della proporzionalità, della legalità e della non retroattività della legge.
E. La Corte cantonale si conferma nella sua sentenza, mentre il Dipartimento dell'educazione, della cultura e dello sport si rimette al giudizio del Tribunale federale.
Diritto:
1. 1.1 Il Tribunale federale esamina d'ufficio e con piena cognizione la sua competenza (cfr. art. 29 cpv. 1 LTF) e l'ammissibilità dei gravami che gli vengono sottoposti (DTF 134 II 138 consid. 1, 186 consid. 1).
1.2 Il ricorso in materia di diritto pubblico è di massima ammissibile contro le decisioni in materia di rapporti di lavoro di diritto pubblico concernenti controversie patrimoniali, se il valore litigioso raggiunge almeno fr. 15'000.-- (cfr. art. 82 lett. a in relazione con l'art. 83 lett. g e l'art. 85 cpv. 1 lett. b LTF). Se il valore litigioso è inferiore a questo importo, il ricorso è nondimeno ammissibile se si pone una questione di diritto di importanza fondamentale (art. 85 cpv. 2 LTF), ciò che spetta alla ricorrente dimostrare (art. 42 cpv. 2 LTF).
Poiché la ricorrente non sostiene, perlomeno con una motivazione conforme all'art. 42 cpv. 2 LTF, che la causa concernerebbe una questione di diritto di importanza fondamentalmente, in concreto il ricorso ordinario è ammissibile solo se è raggiunto il valore litigioso minimo. Al riguardo, la ricorrente non chiede esplicitamente nelle conclusioni il pagamento di una somma di denaro determinata e, contrariamente a quanto dispone l'art. 112 cpv. 1 lett. d LTF, il valore litigioso non è indicato nella decisione impugnata. Nondimeno, le pretese avanzate dalla ricorrente dinanzi alla precedente istanza, e ribadite in questa sede, concernevano sostanzialmente la retribuzione legata alla trasformazione della supplenza in incarico, nonché il pagamento di ulteriori prestazioni, che, per quanto pare di capire dal gravame, andrebbero aggiunte alle ore lezione retribuite e ammonterebbero a un importo supplementare di fr. 22'512.--, oltre accessori. In tali circostanze, non da ultimo con riferimento all'art. 51 cpv. 2 LTF, si può rinunciare a stabilire con precisione il valore litigioso, potendosi ammettere che il limite di fr. 15'000.-- è raggiunto.
1.3 La ricorrente ha partecipato al procedimento ed è particolarmente toccata dalla decisione impugnata, che non le riconosce una maggiore retribuzione per le supplenze svolte nell'anno scolastico 2006/2007. Essa ha un interesse degno di protezione al suo annullamento o alla sua modifica ed è quindi legittimata a ricorrere (art. 89 cpv. 1 LTF). Il ricorso in materia di diritto pubblico, tempestivo (art. 100 cpv. 1 in relazione con l'art. 46 cpv. 1 lett. b LTF) e diretto contro una decisione finale (art. 90 LTF), resa da un'autorità cantonale di ultima istanza (art. 86 cpv. 1 lett. d LTF), è quindi ammissibile. Il ricorso sussidiario in materia costituzionale ai sensi dell'art. 113 e segg. LTF è di conseguenza inammissibile.
2. 2.1 Invocando la violazione del divieto dell'arbitrio, la ricorrente sostiene che l'esposizione dei fatti nel giudizio impugnato sarebbe incompleta, siccome non evocherebbe le ragioni per le quali a suo tempo non avrebbe potuto conseguire l'abilitazione all'insegnamento nelle scuole medie. A suo dire, la Corte cantonale non avrebbe nemmeno adeguatamente considerato il fatto che, in precedenza, l'autorità scolastica cantonale non si sia pronunciata con una decisione formale impugnabile dinanzi al Consiglio di Stato sulla sua richiesta di trasformare la supplenza in rapporto d'incarico.
2.2 Il Tribunale federale statuisce di principio sulla base dei fatti accertati dall'autorità precedente (cfr. art. 105 cpv. 1 LTF). La ricorrente può contestare l'accertamento dei fatti determinanti per il giudizio solo se siano stati stabiliti in violazione del diritto ai sensi dell'art. 95 LTF o in maniera manifestamente inesatta, vale a dire arbitraria, e l'eliminazione del vizio può essere determinante per l'esito del procedimento (cfr. art. 97 cpv. 1 LTF). Non risulta, né la ricorrente lo dimostra con una motivazione conforme alle esigenze poste dagli art. 42 cpv. 2 e 106 cpv. 2 LTF, che i fatti posti alla base del giudizio sono chiaramente insostenibili, in evidente contrasto con gli atti o fondati su una svista manifesta (cfr., sulle esigenze di motivazione, DTF 133 II 249 consid. 1.4). I motivi per i quali la ricorrente non dispone dell'abilitazione all'insegnamento nelle scuole medie non sono rilevanti per l'esito della causa e non dovevano quindi essere esposti nel giudizio impugnato. Né i giudici cantonali hanno rimproverato alcunché alla ricorrente sia in relazione alle sue richieste di trasformare le supplenze in incarico sia per quanto concerne le sue capacità professionali. Essi hanno inoltre preso in considerazione il fatto che il diniego dell'autorità scolastica di trasformare le supplenze in incarico non indicava i mezzi e il termine di ricorso, rilevando comunque che, nel merito, tale decisione non violava il diritto né le aveva impedito di fare valere le sue pretese mediante l'azione diretta al Tribunale cantonale amministrativo. Del resto, oggetto della procedura in esame sono essenzialmente le pretese di natura pecuniaria presentate alla Corte cantonale quale istanza unica in applicazione dell'art. 68 della legge cantonale sull'ordinamento degli impiegati dello Stato e dei docenti, del 15 marzo 1995 e degli art. 71 segg. della legge cantonale di procedura per le cause amministrative, del 19 aprile 1966. La ricorrente non sostiene, per quanto riguarda il precedente rifiuto di conferirle l'incarico da parte dell'autorità scolastica, che le sarebbe stato impedito di avviare un procedimento ricorsuale, chiedendo innanzitutto l'emanazione di una decisione formale o aggravandosi mediante un ricorso per denegata giustizia qualora tale autorità si fosse rifiutata di dare seguito alla richiesta.
3. 3.1 La ricorrente invoca il principio della parità di trattamento, limitandosi tuttavia sostanzialmente ad addurre di avere il diritto di essere retribuita come un docente incaricato perché, quale supplente, ne avrebbe svolto gli stessi compiti. Al riguardo essa si limita tuttavia a criticare genericamente la sentenza impugnata, sostenendo che il suo stipendio sarebbe inferiore del 50 % rispetto a quello di un docente incaricato, quando, secondo l'incontestato accertamento della Corte cantonale, la differenza sarebbe per contro del 36,25 %. Rimproverando in modo generale alla precedente istanza "dotte disquisizioni, richiami legali e giurisprudenziali", non si è confrontata sufficientemente con gli stessi, spiegando con una motivazione puntuale per quali ragioni, tenuto conto dei criteri adottati, le distinzioni operate sotto il profilo retributivo tra le due categorie di docenti non si lascino motivare sostenibilmente e sconfinino nell'arbitrio (cfr. DTF 131 I 105 consid. 3.7, 129 I 161 consid. 3.2 e rinvii).
3.2 Il ricorso in materia di diritto pubblico è parimenti inammissibile laddove la ricorrente invoca la violazione dei principi della legalità e della proporzionalità. In effetti, poiché in concreto è in discussione l'applicazione del diritto cantonale in materia di supplenze dei docenti, e ricordato per di più che il principio della proporzionalità non è invocato in relazione con un diritto fondamentale specifico, il potere cognitivo del Tribunale federale è limitato all'arbitrio (cfr. DTF 134 I 153 consid. 4; sentenza 2C_212/2007 dell'11 dicembre 2007, consid. 3.1). Criticando genericamente la decisione impugnata e prospettando in particolare di considerare congiuntamente la durata delle due supplenze svolte durante l'anno scolastico 2006/2007, la ricorrente adduce un'altra soluzione che potrebbe entrare in linea di conto e che potrebbe anche essere preferibile, ma non sostanzia l'arbitrio delle considerazioni espresse al proposito nel giudizio impugnato (cfr. DTF 134 II 244 consid. 2.2).
4. 4.1 La ricorrente lamenta un'inammissibile retroattività della legge sostenendo che la Corte cantonale avrebbe a torto applicato alla fattispecie l'art. 6 cpv. 2 del regolamento ticinese sulle supplenze dei docenti, del 13 febbraio 1996 (RSuppl), nella versione entrata in vigore soltanto il 1° settembre 2008, quindi dopo l'emanazione del giudizio impugnato (cfr. BU 2008, pag. 98).
4.2 Secondo l'attuale tenore della norma, le supplenze continuate dello stesso docente, di durata prevedibile e di almeno 24 settimane, sono trasformate dall'autorità di nomina in rapporto d'incarico, senza pubblicazione del pubblico concorso. Nel tenore previgente, in vigore fino al 31 agosto 2008, la norma prevedeva che era possibile trasformare in rapporto d'incarico, senza pubblico concorso, le supplenze in atto di durata prevedibile e di almeno quattro mesi, senza che ciò costituisca un diritto del supplente.
4.3 Contrariamente al parere della ricorrente, la Corte cantonale ha applicato alla fattispecie il diritto allora vigente e non il nuovo diritto. Essa ha infatti rilevato che la disposizione non conferiva al supplente un diritto di rivendicare la conversione del rapporto d'impiego in incarico, la decisione dell'autorità scolastica di trasformare o meno le supplenze in rapporto d'incarico essendo di natura discrezionale e il limite di quattro mesi previsto dall'art. 6 cpv. 2 vRSuppl puramente indicativo. Il fatto che la Corte cantonale, per valutare se le supplenze svolte dalla ricorrente fossero di lunga durata o meno, abbia anche richiamato, a titolo orientativo, il limite di 24 settimane previsto dal nuovo diritto, ora vincolante, non risulta manifestamente insostenibile e non significa in particolare ch'essa ha fondato il suo giudizio sulla nuova norma.
In tali circostanze, poiché il nuovo art. 6 cpv. 2 RSuppl non è stato applicato dai giudici cantonali, non è stato nemmeno disatteso il divieto della reformatio in peius. È comunque perlomeno dubbio che la nuova normativa sia più sfavorevole di quella previgente ove si consideri che, pur se a condizioni restrittive, la trasformazione non è più di natura meramente discrezionale, ma è oggi di principio obbligatoria (cfr., sul divieto della reformatio in peius, sentenza 1P.105/2001 del 28 maggio 2001 consid. 2a/cc, in: RDAT II-2001, n. 58, pag. 227 segg.).
5. Ne segue che il ricorso in materia di diritto pubblico deve essere respinto in quanto ammissibile, mentre il ricorso sussidiario in materia costituzionale deve essere dichiarato inammissibile. Le spese giudiziarie seguono la soccombenza e sono pertanto poste a carico della ricorrente (art. 66 cpv. 1 LTF). Vista la sua soccombenza, non possono esserle riconosciute ripetibili della sede federale (cfr. art. 68 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso in materia di diritto pubblico è respinto.
2. Il ricorso sussidiario in materia costituzionale è inammissibile.
3. Le spese giudiziarie di fr. 500.-- sono poste a carico della ricorrente.
4. Comunicazione al rappresentante della ricorrente, al Dipartimento dell'educazione, della cultura e dello sport e al Tribunale amministrativo del Cantone Ticino.