De evaluatie onderzoekt de uitvoering van de actie door de twee Culturele Hoofdsteden van Europa van 2014 gedurende het hele proces: van het prille begin tot hun haalbaarheid en blijvend resultaat. Zij beoordeelt het effect van de organisatie in de twee steden. In de evaluatie wordt met name gekeken naar de relevantie, efficiëntie, doeltreffendheid en duurzaamheid van de evenementen, worden individuele en algemene conclusies getrokken uit de twee evenementen en wordt bekeken welke gevolgen er zijn voor toekomstige Culturele Hoofdsteden van Europa.

In elk van deze twee lidstaten dienden vier steden hun kandidatuur in. Daarvan haalden er twee de shortlist in Zweden en drie in Letland . Uiteindelijk droeg de jury in september 2009 Umeå en Riga voor als Culturele Hoofdsteden van Europa.

In het kader van dit besluit zijn de algemene doelstellingen van dit evenement de aandacht vestigen op de rijkdom, de verscheidenheid en de gemeenschappelijke kenmerken van de Europese culturen voor het voetlicht brengen en het wederzijds begrip tussen de Europese burgers stimuleren. Het evenement "Culturele Hoofdstad van Europa" streeft ernaar de samenwerking tussen culturele actoren, kunstenaars en steden in Europa te bevorderen, evenals de deelname van de burgers die in de stad en de omgeving wonen. Tegelijkertijd moet het evenement de interesse van burgers uit het buitenland wekken, haalbaar zijn en integrerend deel uitmaken van de culturele en sociale ontwikkeling van de stad op lange termijn.

In het verslag wordt echter benadrukt dat Umeå en Riga hun titel ook hebben aangewend om andere aspecten van hun ontwikkelingsstrategie aan te pakken. Het gevolg is dat veel van de activiteiten die in 2014 zijn georganiseerd zeer relevant waren voor de algemene politieke agenda's van de twee steden en voor een scala aan op EU-niveau vastgelegde prioriteiten en doelstellingen op andere beleidsterreinen dan cultuur, zoals stedelijke en regionale ontwikkeling, werkgelegenheid, ondernemerschap, toerisme en algemeen beleid inzake sociale cohesie.

Volgens de evaluator zagen de twee gaststeden het evenement eerder als een cultureel evenement dan als een economisch of sociaal programma. Dankzij het evenement konden zij hun culturele aanbod versterken en internationaliseren en de culturele verscheidenheid en de gemeenschappelijke kenmerken van Europese culturen promoten. Volgens de conclusie van het verslag maakte dat van het evenement een zeer relevante actie in verband met artikel 167 van het VWEU over de bijdrage van de Unie tot de "ontplooiing van de culturen van de lidstaten".

Tegen deze achtergrond is het bemoedigend dat Umeå (en in mindere mate Riga) onderzoek hebben gedaan om beter inzicht te krijgen in de effecten van het evenement op de culturele instellingen, op de inwoners van de stad en op de internationale dimensie en economie.

De Commissie is zich ten volle bewust van de beperkingen van deze aanpak en aanvaardt ze. Die beperkingen werden al vastgesteld in het werkdocument van de diensten van de Commissie bij het voorstel voor een besluit tot vaststelling van een actie van de Unie voor het evenement "Culturele hoofdsteden van Europa" voor de periode 2020 tot 2033. Om deze situatie te verhelpen, voorzien het voorstel van de Commissie en het besluit dat op die basis werd aangenomen dat de steden zelf een belangrijke rol spelen in het evaluatieproces aangezien zij beter geplaatst zijn om primaire gegevens te verzamelen over de effecten van de titel.

Bovendien zijn sommige doelstellingen ook breed en moeilijk te meten en is het voor deze evaluatie te vroeg om effecten op de lange termijn te kunnen beoordelen. Bijgevolg is een groot deel van de gegevens eerder gericht op outputs en resultaten of opkomende structurele voordelen in plaats van op harde effecten, die pas na verloop van tijd zullen optreden. Om een beter zicht te krijgen op zulke effecten zou het nuttig zijn om de twee steden longitudinaal te evalueren, met name om de efficiëntie van overheidsuitgaven in het evenement te bevestigen vanuit een cultureel, sociaal en economisch perspectief, en door een bredere gegevensbasis te gebruiken voor de evaluatie ter ondersteuning van de conclusies.

Secundaire gegevensbronnen waren bijvoorbeeld de informatie in de oorspronkelijke kandidaturen, door of in opdracht van de steden uitgevoerde onderzoeken of verslagen, programmering van de evenementen, promotiemateriaal en -websites, statistische gegevens over cultuur en toerisme en door de steden verstrekte kwantitatieve gegevens over financiën, activiteiten, outputs en resultaten.

Primaire gegevensbronnen waren bijvoorbeeld interviews die tijdens de twee bezoeken aan elke stad of per telefoon zijn afgenomen, of middels een online-enquête in Riga. Het doel van deze interviews was verschillende perspectieven over elk evenement te verkrijgen, waaronder dat van de managementteams, beleidsmakers op lokaal en nationaal niveau, belangrijke culturele actoren, een reeks bij het organiseren van de "Culturele Hoofdsteden van Europa" betrokken partners en een aantal organisaties die projecten leiden of daaraan deelnemen.

De evaluator heeft de organisatiecapaciteit van de steden en de efficiëntie van het beheer en management van de evenementen onderzocht en concludeert dat de mechanismen die zijn ingesteld voor de uitvoering van het evenement in beide steden in het algemeen goed functioneerden.

Umeå 2014 is uitgevoerd door een team dat werkzaam was in de gemeente Umeå. Het verslag onderstreept dat het team van meet af aan kon rekenen op sterke politieke steun aangezien het evenement was bedoeld als een instrument om lokale culturele en andere beleidsdoelstellingen te realiseren, waardoor duidelijke doelstellingen konden worden vooropgesteld. Een belangrijk kenmerk van de beheersstructuur was de "open source"-aanpak die is gebaseerd op cocreatie en participatie. Deze aanpak hield in wezen in dat brede thema's en criteria werden gekozen voor het programma als geheel en vervolgens culturele actoren en andere belanghebbenden werd gevraagd zelf het programma "in te vullen". Over het algemeen wordt het beheer van Umeå 2014 in het verslag goed bevonden, ook al werd het uiteindelijke team betrekkelijk laat in de ontwikkelingsfase samengesteld. Het had in een vroeger stadium kunnen worden uitgebreid zodat veel van de inhoud van het culturele programma eerder had kunnen worden ontwikkeld.

In Riga is een onafhankelijke organisatie, de stichting "Riga 2014", opgericht door de gemeenteraad om de uitvoering en de ontwikkelingsstadia van de actie "Culturele Hoofdstad van Europa" te coördineren. De stichting werd geleid door het voormalige hoofd van de cultuurdienst van het gemeentebestuur. Volgens het rapport bleek dit model — dat ook wel voor vroegere Culturele Hoofdsteden van Europa is gebruikt — het meest geschikt te zijn voor de uitvoering. De administratieve last werd zo immers verminderd en een aantal bureaucratische procedures die van toepassing zijn op de staat of gemeenten in het land werden overbodig. Zo werd een zekere vorm van onafhankelijkheid gewaarborgd zodat het programma "vrij" kon worden ontwikkeld zonder noemenswaardige invloed van buitenaf. In het verslag wordt ook de stabiliteit in het administratief team positief benadrukt en de steun van alle politieke structuren gedurende de hele loop van het project.

Beide projecten zijn gepland en georganiseerd in moeilijke economische tijden, zowel op stedelijk als op nationaal niveau en het financieel rendement was derhalve een belangrijk aspect van de planning en de uitvoering. Hoewel de middelen waarover Umeå en Riga voor hun culturele programma's konden beschikken (respectievelijk 45,6 en 27,3 miljoen euro) verschilden, toonden beide Culturele Hoofdsteden aan dat ze succes konden boeken met een relatief bescheiden budget en in tijden waarin de middelen beperkt zijn.

Uit het verslag blijkt dat beide Culturele Hoofdsteden eerder zijn gefinancierd door de publieke dan door de particuliere sector. Er wordt op gewezen dat geen van beide steden in staat is gebleken de particuliere inkomsten te genereren die ze oorspronkelijk in hun kandidatuur had vooropgesteld. Financiering door de particuliere sector vertegenwoordigde uiteindelijk minder dan 10 % van het totale budget van de twee Culturele Hoofdsteden. Hoewel de Culturele Hoofdsteden waarschijnlijk altijd sterk afhankelijk zullen zijn van publieke middelen, is het opmerkelijk dat beide steden in 2014 geen vooruitgang hebben geboekt in het aantrekken van particuliere financiering via rechtstreekse steun, sponsoring of reclame. Volgens de evaluatoren is dat in zekere mate het gevolg van de huidige economische situatie. Hopelijk zal, wanneer de economische context verbetert, de organisatie van de "Culturele Hoofdstad van Europa" minder beroep moeten doen op overheidsmiddelen.

4.3.Doeltreffendheid van de ontplooiing van culturele activiteiten en culturele en artistieke inhoud

Ondanks een tekort aan uitgebreide gegevens over de resultaten en gevolgen concludeert de evaluatie dat beide steden een zeer groot aantal culturele activiteiten organiseerden in 2014 (in totaal bijna 500 in Riga onder het motto "Force Majeure" (overmacht) en iets meer dan 1 000 in Umeå met de slogan "Curiosity and Passion" (nieuwsgierigheid en passie)) . Hoewel het moeilijk is vast te stellen hoeveel "extra" cultuur aanwezig was in de twee steden in 2014 ten opzichte van voorgaande jaren, schatten vele deelnemers aan de evaluatie dat het "minstens dubbel zoveel" was.

Beide Culturele Hoofdsteden zijn er ook in geslaagd om een breed cultureel programma op te zetten dat het hele jaar door een sterke mix van culturele genres opleverde, vaak in verschillende delen van de stad en zelfs daarbuiten. Zij benutten tijdens het jaar ruimschoots de mogelijkheden om culturele programma's te ontwikkelen die noch conservatief noch voorzichtig waren, met culturele evenementen die groter en innovatiever waren dan voorheen. Hoewel beide steden uitpakten met tal van spraakmakende en blitse evenementen, organiseerden zij ook een groot aantal kleinere culturele activiteiten die even goed werden ontvangen.

Volgens de evaluator werd de artistieke controle en het beheer van het ontwerp van de culturele programma's van beide Culturele Hoofdsteden uitgevoerd door ervaren en betrouwbare actoren met reëel en diep inzicht in de culturele agenda van de steden. Deze artistieke kennis was sterk aanwezig in de coördinerende instanties zelf (en ook in de projecten) die meer deden dan enkel budgetten beheren en resultaten monitoren.

4.4.Doeltreffendheid van de bevordering van de Europese dimensie

Het rapport schat dat het culturele programma van Umeå in 2014 meer Europees van aard was dan het culturele aanbod van de stad in de jaren daarvoor. Het programma was gebaseerd op het overkoepelende concept van Umeå als de "noordelijke kamer" in het "Europese huis" en als een plaats waar de grens kan worden overschreden en langdurig kan worden samengewerkt binnen het Sápmi-gebied dat noordelijke delen van Finland, Noorwegen, Zweden en Rusland omvat. Binnen dit overkoepelende concept werden een aantal specifieke thema’s verkend, waaronder enkele die verband houden met de cultuur, het gebied en de identiteit van de Samische bevolking, de inheemse bevolking van Noord-Scandinavië. Het culturele programma dat opgebouwd was rond de acht seizoenen van de Samische kalender, verkende en belichtte de Samische cultuur in al haar vormen, bijvoorbeeld rotstekeningen, muziek, ambachten en klederdracht.

Bovendien kon Umeå dankzij de titel "Culturele Hoofdstad van Europa" de Europese — en internationale — dimensie van zijn culturele aanbod uitbreiden via samenwerking met een aantal internationale artiesten, die werden uitgenodigd of opdracht kregen evenementen, werken en tentoonstellingen te produceren of te coproduceren. In totaal werd in 195 projecten op een of andere manier samengewerkt met kunstenaars of andere culturele instellingen uit andere (hoofdzakelijk Europese) landen.

Ten slotte heeft Umeå 2014 volgens de evaluator zijn voordeel gedaan met de titel "Culturele Hoofdstad van Europa". Ondanks het feit dat de stad vrij geïsoleerd ligt in het hoge noorden heeft zij inspanningen geleverd om het Europese publiek warm te maken voor de stad en zichzelf "op de kaart" te zetten dankzij haar marketing- en communicatieacties. In dit verband wordt in het verslag gewag gemaakt van de positieve resultaten van de "Caught by [Umeå]"-ronde, waarbij vertegenwoordigers van de stad en haar culturele sector rechtstreeks in contact werden gebracht met het publiek in verschillende Europese steden vóór de start van het evenement om het publiek als het ware naar Umeå toe te trekken. Bovendien steeg in 2014 het aantal geboekte nachten in toeristische accommodatie met 24 % tegenover 2013.

Met betrekking tot Riga blijkt uit het verslag dat de Europese dimensie was terug te vinden in een groot aantal verschillende evenementen en activiteiten. Die omvatten projecten over gemeenschappelijke Europese thema’s — zoals die in verband met de Eerste Wereldoorlog of het vroegere KGB-gebouw — of de ondersteuning van uitwisselingen en andere mobiliteitsprogramma's vanuit verschillende lidstaten van de EU. In dit verband blijkt dat 40 % van alle projecten een internationale dimensie had, d.w.z. dat er buitenlanders (voor het merendeel Europeanen) betrokken waren bij de uitvoering van het project als uitvoerders, kunstenaars en organisatoren van evenementen.

Het evenement werd ook gezien als "ontmoetingsplaats" voor internationale artiesten en een gelegenheid om samen te komen en samen te werken aan verschillende activiteiten.

Wat het vergroten van de internationale bekendheid van de stad betreft (een belangrijke doelstelling van het project), heeft Riga 2014 gemengde resultaten behaald. Het aantal buitenlandse toeristen dat Letland bezocht, nam toe met 18,9 % in de eerste helft van 2014 en 2 800 publicaties hebben het evenement in Riga vermeld (waarvan 98 % positief), maar blijkbaar kwam minder dan 2 % van het publiek uit het buitenland.

4.5.Effectieve deelname van burgers en publieksbereik

In de evaluatie wordt gesteld dat een belangrijk aspect van de doeltreffendheid in beide steden te maken had met de rol die het project heeft gespeeld in het vergroten van de aantrekkingskracht en het bereik van cultuur in de gemeenschappen en buurten die niet zouden zijn bereikt zonder het bestaan van dit evenement.

Beide programma's waren in dat verband zeer proactief en hebben hard gewerkt om cultuur te bieden voor een breed scala aan verschillende doelgroepen, in voorstellingen en activiteiten die kunnen worden aangemerkt als populair, alternatief of innovatief. Respectievelijk 71 % en 76 % van de bewoners in Umeå en Riga hebben een evenement bijgewoond, terwijl in totaal 1,6 miljoen mensen deelnamen aan activiteiten in het kader van de Culturele Hoofdstad van Europa in de Letse hoofdstad. De initiatiefnemers van de projecten werden aangemoedigd om zich te richten op ondervertegenwoordigde groepen. Vele activiteiten vonden plaats in niet-traditionele omgevingen buiten het stadscentrum en er werden duidelijke richtlijnen gegeven (onder meer tijdens workshops of in de vorm van richtsnoeren) over de beste manier om deelname te verruimen.

Voorts waren de ontwikkelingsregelingen in beide steden inclusief en transparant: de procedures voor het indienen van projectvoorstellen waren open en "bottom-up", zodat de projecten eerder van culturele dan van strategische actoren kwamen. De bovengenoemde "open source"-aanpak in Umeå is een zeer doeltreffend instrument gebleken om de lokale culturele sector en een groot deel van de bevolking aanzienlijke mogelijkheden te bieden om het culturele programma vorm te geven en uit te voeren op een wijze die zowel authentiek als geloofwaardig was. Volgens de evaluator is deze benadering echter enkel geschikt voor steden die openstaan voor cocreatie en voor internationale samenwerking en waar ook sprake is van een klimaat van vertrouwen en een traditie van consensus.