I Cesis og Riga fylke har Gauja gravet ut den dypeste elvedalen i Latvia med bredder opptil 90 meter høye. Denne delen av Gauja har mange flotte naturområder og ble erklært en nasjonalpark i 1973.