Det var ingen andre norske barn på stedet, og foreldrene syntes samvær med gassiske barn ville bli feil. Men Valen fikk en gassisk barnepike, Maria, og i treårsalderen snakket han ikke lenger norsk, bare gassisk. Andre temaet i første sats av hans trio skal være en gassisk folkemelodi. I 1895 flyttet familien tilbake til Stavanger, og seks år gammel begynte han på Kongsgård skole i Stavanger. Her våknet musikkinteressen hans, og han fikk tak i en liten fiolin og opplæring i å bruke den. Men han skrantet, og foreldrene bestemte at han var for svak til å ta musikkundervisning i tillegg til skolearbeidet.