CELEX ID: 32024R0436

--- ENGLISH ---

Document:
Official Journal 
of the European Union
EN
Series L
2024/436
2.2.2024
COMMISSION DELEGATED REGULATION (EU) 2024/436
of 20 October 2023
supplementing Regulation (EU) 2022/2065 of the European Parliament and of the Council, by laying down rules on the performance of audits for very large online platforms and very large online search engines
THE EUROPEAN COMMISSION,
Having regard to the Treaty on the Functioning of the European Union,
Having regard to Regulation (EU) 2022/2065 of the European Parliament and of the Council of 19 October 2022 on a Single Market For Digital Services and amending Directive 2000/31/EC (Digital Services Act) 
(
1
)
, and in particular Article 37(7) thereof,
Whereas:
(1)
Independent audits are an important tool in the supervision of the compliance of providers of very large online platforms and of very large online search engines with their obligations under Regulation (EU) 2022/2065. While other accountability tools are provided for in that Regulation, not least through enhanced public scrutiny of transparency reports and other data disclosure requirements, independent auditing organisations have a special role in assessing such providers’ compliance with that Regulation early on. The conclusions and findings of such independent audits and their recommendations can meaningfully inform regulatory supervision. At the same time, independent audits represent one among several sources of information and analysis that regulators can use in their supervisory and enforcement role.
(2)
In order to ensure that independent audits are carried out in an effective, efficient, timely and comparable manner from the date of application of Regulation (EU) 2022/2065, as defined in Articles 92 and 93 thereof, the Commission should lay down rules on the performance of audits, in particular as regards the legal obligations for the audited providers and the procedural steps for ensuring that organisations performing audits fulfil the conditions of independence, no conflict of interest, expertise and professional ethics laid down in Article 37(3) of Regulation (EU) 2022/2065.
(3)
In order to facilitate the appropriate performance of audits with a high level of expertise, and to pre-empt unintended consequences in the market for auditing services, it should be clarified that audits conducted in accordance with Article 37 of Regulation (EU) 2022/2065 may be carried out by several auditors. Where necessary, for example because of the need for specific expertise in auditing certain obligations or commitments, such as those relating to the design and functioning of algorithmic systems, an understanding of risks to fundamental rights, or the spread of illegal content, the audited provider may contract different auditing organisations, or a consortium of organisations, to conduct the audit. Auditing organisations may also subcontract the necessary expertise, provided that both the auditing organisation and the subcontractors comply with the necessary conditions on independence, non-conflict of interest, proven objectivity and professional ethics, and that they jointly comply with conditions on technical expertise. In such cases, the audited provider should still ensure that its compliance with all obligations and commitments referred to in Article 37(1) of Regulation (EU) 2022/2065 is audited at least once per year.
(4)
Audit opinions referred to in Article 37(4), point (g), of that Regulation (EU) 2022/2065 should be asserted by auditing organisations with a reasonable level of assurance. To reach a reasonable level of assurance, the auditing organisation should have a high, but not absolute, level of confidence that there have been no misstatements, such as omissions, misrepresentations, or errors, which were not detected in the audit. To ensure that level of assurance, the auditing organisation should, amongst others, obtain sufficient evidence and use appropriate auditing methodologies in its assessment.
(5)
Pursuant to Article 37(1) of Regulation (EU) 2022/2065, independent audits should be conducted at least annually, aligned with the yearly cycle of risk assessments referred to in Article 34 of that Regulation. However, more frequent audits may be necessary in certain cases. The sequencing of audits should ensure a continuum of supervision for the audited providers’ compliance with Regulation (EU) 2022/2065 and relevant codes of conduct and crisis protocols. The audited provider should ensure that the period for which a given audit assesses compliance with the audited obligations and commitments complements the period covered by the previous audit of the provider’s compliance with those obligations and commitments and starts at the latest where the period covered in the previous audit has ended. As the conclusion of an audit includes both the assessment done by the auditing organisation and the establishment of an audit report, audited providers should ensure that the duration of the audit allows for audits to be concluded at least once per year and the submission of the audit reports to the Commission and the Digital Service Coordinator follows without undue delay, pursuant to Article 42(4) of Regulation (EU) 2022/2065.
(6)
While audited providers should in no circumstance interfere with the performance of the audit and its conclusions, they should fulfil their obligations under Article 37 of Regulation (EU) 2022/2065 including by agreeing contractual terms with the auditing organisation and verifying, prior to selecting an auditing organisation, that that organisation fulfils the conditions laid down in Article 37(3) of Regulation (EU) 2022/2065.
(7)
The audited provider should, for example, assess contracts it has previously concluded with the auditing organisation or contracts concluded between the auditing organisation and legal persons connected to the audited provider. The audited provider should also include clauses in contracts with auditing organisations to guarantee the respect of the conditions laid down in Article 37(3) of Regulation (EU) 2022/2065. Where the auditing organisation consists of several entities, the audited provider should ascertain that all those entities fulfil those conditions, including, where applicable, any sub-contractors hired by the auditing organisation for the purpose of supporting the performance of the audit in any way. Whereas each entity performing the audit should individually fulfil the independence requirements and the requirements on no conflict of interests, those entities should fulfil jointly the requirements related to competence, expertise, or technical resources, thereby allowing different entities to perform different parts of the audit and contribute with the capabilities, competence and expertise needed to perform the audit. The audit report should specify the responsibility of each of those entities for the respective parts of the audit.
(8)
Pursuant to Article 37(3), point (a)(i) of Regulation (EU) 2022/2065, the audited provider should pay particular attention to avoid that the auditing organisation provides non-audit services to the audited provider when verifying whether an auditing organisation fulfils the independence requirements and the requirements on no conflict of interests. The audited provider should, for example, assess whether services were provided, such as those linked to any system, software or process involved in matters relevant to the audited obligation or commitment, such as consultancy services for assessments of performance, of governance and of software, training services, development or maintenance of systems, or subcontracting content moderation. Such services also include services provided to the audited provider which consist in consulting on, or developing internal controls, or assessing, for internal purposes, the audited provider’s compliance with Regulation (EU) 2022/2065 or codes of conduct and crisis protocols, including when this is limited to punctual tests, such as third-party tests on the performance of content moderation systems. This should not exclude auditing organisations who have performed statutory financial audits.
(9)
Given the complexity and particular nature of compliance audits for Regulation (EU) 2022/2065, the subject-matter expertise of the auditing organisation is key for performing audits with a reasonable level of assurance and for exercising the professional judgment and scepticism that enables that organisation to know, for example, which information it needs to perform the audit procedures or to challenge contradictory information. The audited provider should therefore verify whether the auditing organisation provides such expertise, including in the area of risk management, both with regard to audit risks and the subject-matter of Regulation (EU) 2022/2065 and, in particular, the systemic societal risks referred to in Article 34 of that Regulation. In addition, the audited provider should verify the technical competence and capabilities of the auditing organisation in view of the specific audited service, including its subject-matter expertise, for example as regards the functioning and effects of algorithmic systems, such as recommender systems and other socio-technical systems maintained by the provider. The auditing organisation should have the possibility to subcontract or otherwise obtain and deploy the necessary expertise and capabilities, and the audited provider should verify and ensure that the auditing organisation is able to acquire that expertise and those capabilities in time for the performance of the audit.
(10)
In verifying that auditing organisations fulfil the conditions laid down in Article 37(3) of Regulation (EU) 2022/2065, the audited provider should assess relevant evidence, including, as appropriate, certifications, declarations and audit reports issued by the auditing organisation. The appropriate expertise could be proven, for example, by practical experiences in assessing and managing risks, as well as by academic activity, scientific publications, and experience with relevant audits. Audit reports should contain all the relevant supporting documentation attesting that the auditing organisation fulfils the necessary conditions.
(11)
Pursuant to Article 37(2) of Regulation (EU) 2022/2065, the audited provider is to afford all the necessary cooperation and assistance for the auditing organisation to conduct the audit in an effective, efficient, and timely manner, as well as refrain from interfering in any way with independent decisions of the auditing organisation. For example, the audited provider should not impose, give any guidance, or otherwise influence the auditing organisation through any kind of contractual or other limitations or incentives in their choice and execution of audit procedures, methodologies, collection and processing of information and audit evidence, analysis, tests, audit opinion or elaboration of audit conclusions.
(12)
To guarantee the necessary cooperation and assistance during the audit, the audited provider should ensure that the auditing organisation is granted access to all information necessary for the performance of the audit. The audited provider should send, as early as possible and in any case before the auditing organisation starts performing audit procedures, all the necessary documents and explanations. For example, pursuant to Article 41(3), points (d) and (e), of Regulation (EU) 2022/2065, the compliance function of the audited provider is to monitor compliance with all audited obligations and commitments, which should result in the elaboration of internal controls. The auditing organisation should therefore be granted access to all information related to such controls, and any other information outlining the audited provider’s strategy to ensure compliance. In particular, the audited provider should make available to the auditing organisation the benchmarks it relies upon to ensure compliance with Regulation (EU) 2022/2065 so that the auditing organisation can base the audit criteria on this information. In addition, the auditing organisation should be granted access to any analysis the audited provider might have conducted on inherent risks and control risks. That provider should make available to the auditing organisation information that facilitates the understanding of the audited service, its governance, the competence of respective teams and decision-making structures, including its compliance function, as well as presentations of its information technology (IT) systems, data and records structures, and the interplay between different algorithmic systems of relevance to the audit.
(13)
The auditing organisation should be able to request, at any time in the performance of the audit, any other necessary information. Access to that information should be granted without undue delay in a manner that does not in any way hamper the performance of the audit. This should include access to data, including personal data, collected from various sources, such as documents, algorithmic systems, databases or interviews, as appropriate. The audited provider should also grant the auditing organisation access to procedures and processes, IT systems, such as algorithmic and information systems, including testing environments. In order to allow the auditing organisation to meaningfully inspect such systems, the audited provider should make all necessary resources available to assist that organisation in accessing and assessing the systems, such as by making available the provider’s competent personnel to answer questions or operate test environments and provide explanations about their functioning, or facilitate any other necessary access to personnel and premises, such as buildings. Access to procedures and processes could imply, for example, access to descriptions or documents concerning the audited provider’s internal decision-making process. Access to relevant information may also require other ancillary actions from the audited provider to fulfil their obligation for cooperation and assistance. For example, interviews with personnel may require secure facilities provided by the audited provider. Where it is necessary for the performance of the audit, audited providers should fulfil the cooperation and assistance obligation towards auditing organisation among other things by facilitating access to relevant data related to their operations held by their third-party contractors. This might be the case, for example, as regards results of content moderation actions, training material or guidance used by third-party contractors who moderate content, or vendors and service providers for IT solutions, including, for example algorithms and applications used in recommender systems or advertising systems used by the audited provider.
(14)
To facilitate meaningful transparency of the audit findings and to provide a comprehensive and comparable format of audit reports, referred to in Article 37(4) of Regulation (EU) 2022/2065 and audit implementation reports referred to in Article 37(6) of that Regulation, this Regulation should establish templates for those reports and require a number of annexes for each of the reports. While the templates laid down in this Regulation require comprehensive reporting, they should not affect the requirements on the publication of reports provided for in Article 42(4) and (5) of Regulation (EU) 2022/2065.
(15)
In order to ensure that the auditing organisation receives all the necessary assistance from the audited provider, without interference in the performance of the audit, and that the auditing organisation fulfils all conditions for the preparation of the audit and delivers the audit report in due time and with the quality necessary to reach a reasonable level of assurance, certain rules should specify the procedures for the preparation of the audit. The duties and responsibilities of the audited provider and the auditing organisation, including all sub-contractors or partner organisations and the staff responsible for carrying out the audit, should be set out in a written agreement, including through contractual terms. The written agreement should also specify the audited obligations and commitments, the allocation of resources, and the rules of interaction and contact points between the auditing organisation and the audited provider. All supporting documentation and contracts should be annexed to the audit report, including when the documents take the form of an audit engagement letter or other contractual terms.
(16)
In order to provide a comprehensive overview and facilitate the accountability of audited providers, the audit report should include a conclusion of the auditing organisation’s assessment of compliance of the audited provider with each audited obligation or commitment. Each audit conclusion should be based on a reasonable level of assurance and should be either ‘positive’, ‘positive with comments’ or ‘negative’, in order to appropriately inform the audit opinion. Conclusions that are ‘positive with comments’ should not concern the assessment of compliance itself. Such comments could refer, for example, to the production of information by the provider at the request of the auditing organisation, or to improvements in the maintenance or controls put in place by the audited provider, or take note of further mitigation plans and improvements that the provider intends to make. In any event, where the auditing organisation deems the audited provider compliant with an audited obligation or commitment according to the benchmarks reported by the audited provider, but considers it necessary to include remarks on those benchmarks, the audit conclusion should be ‘positive with comments’, since such comments could usefully inform the provider about opportunities for potential changes to its benchmarks, based on the auditing organisation’s knowledge and expertise, as well as information from external sources. For example, the comments could be informed by guidance from the Commission, including through guidelines from the Commission referred to in Article 35(3) of Regulation (EU) 2022/2065, and any other relevant guidelines issued by the Commission with respect to the application of that Regulation, reports from the European Board for Digital Services referred to in Article 35(2) of that Regulation, enforcement actions, decisions taken by the Commission pursuant to that Regulation, relevant case law, especially from the Court of Justice of the European Union, public consultations, or relevant authoritative sources.
(17)
In order to enable public scrutiny and regulatory supervision, where an audit conclusion is ‘negative’ but applies only for a limited period of time and the auditing organisation deems that the audited provider complied with the obligation or commitment for the rest of the audited period, this should be reflected in the audit report for each concerned obligation or commitment. The report should include the auditing organisation’s observations on any information made available to them by the audited provider as regards mitigation plans in place or planned to remedy non-compliance.
(18)
In light of the different nature of the legal obligations laid down in Chapter III of Regulation (EU) 2022/2065 and the voluntary commitments made under codes of conduct and crisis protocols pursuant to Articles 45, 46 and 48 of that Regulation, the auditing organisation should issue audit opinions on the compliance with that Chapter and with each code and protocol.
(19)
In order to perform the audit with a reasonable level of assurance and to design the appropriate audit procedures according to methodologies that minimise the audit risk to a low level, a key part of the methodology for performing the audit should be the estimation of the audit risks, namely the risk that the auditing organisation expresses an inappropriate audit opinion or conclusion. Therefore, the auditing organisation should assess the audit risk at the very beginning of the audit, before designing the precise methodology and performing audit procedures. The audit risk analysis is necessary to allow the auditing organisation to select the precise methodologies for the audit and determine how comprehensive the audit procedures must be so as to attain the reasonable level of assurance for the audit opinion. The auditing organisation should perform the audit risk analysis for the assessment of compliance with each audited obligation or commitment, considering inherent risks, control risks and detection risks.
(20)
In order to correctly evaluate the audit risks, the audit risk analysis should take into account the nature of the audited service, notably its risk profile, and the scope and complexity of the audit. For example, it is likely that online platforms that allow the conclusions of distance contracts between consumers will have different inherent risks than video-sharing platforms or search engines. Furthermore, the societal and the economic context in which the audited service is provided should be considered, for example as regards typical user groups such as minors, or frequent behaviour such as a high incidence of inauthentic use and coordinated behaviours in disinformation campaigns. The societal and the economic context to be considered should also include the probability and, independently, the severity of exposure to crisis situations and unexpected events, as referred to in Regulation (EU) 2022/2065.
(21)
In order to ensure that the audit risk analysis reflects the evolution of the risks to which the service is subject, the audit risk analysis should also be based on information from previous audits to which the audited provider was subject, where applicable, and build upon information from sources such as audit reports of other providers with a similar risk profile. To ensure that the audit risk analysis is fully informed by state-of-the-art evidence of risks in contexts similar to those in which the audited provider operates, and by authoritative sources of direct relevance for the application of Regulation (EU) 2022/2065, the analysis should also rely on information from reports issued by the European Board for Digital Services or guidelines from the Commission, where applicable. Other information could also include information from audit reports published pursuant to Article 42(4) of Regulation (EU) 2022/2065 by other providers of very large online platforms or of very large online search engines.
(22)
The auditing organisation should draw up, without influence from the audited provider, the audit methodologies used to assess compliance with the audited obligations and commitments. The audit criteria should be based on the information submitted by the audited provider as regards benchmarks used by the audited provider for monitoring compliance. The methodology may also take into consideration other information made available by the audited provider, such as the analysis of inherent risks, when the audited provider has done such analysis, for example through measures developed by the compliance officer or the management body in accordance with Article 41 of Regulation (EU) 2022/2065 or other measures embedded in the functioning of the service for the systemic risk assessments referred to in Article 34 of that Regulation.
(23)
In order to ensure that the audit methodologies are appropriate for reaching a reasonable level of assurance for the audit opinions, the choice of methodology for the audit procedures should address the specificities of the audited obligation or commitment and should be adapted, for example, to the nature of the audited obligation as an obligation of means, or an obligation of results that the provider must achieve in order to be compliant. For example, auditing procedures for assessing compliance with transparency reporting pursuant to Article 15 of Regulation (EU) 2022/2065 could allow the auditing organisation to conclude whether the reports were published within the delays and formats requested in that Regulation, as well as whether they were complete and the data reported was accurate, representative, and appropriately broken down, for example, per category of illegal content actioned.
(24)
The choice of methodology should also depend on whether the compliance assessment requires contextual interpretations by the auditing organisation. The selection of methodologies should also be adapted to the inherent risks linked to the activities carried out in providing the service and the context in which the service is provided, for example, whether the service involves the sale of goods that could be illegal or whether the service is primarily used by minors. For example, methodologies for assessing compliance with obligations to put in place appropriate and proportionate measures to ensure a high level of privacy, safety, and security of minors pursuant to Article 28(1) of Regulation (EU) 2022/2065 should allow the auditing organisation to have a sufficient understanding of how the audited service is used by minors and the risks to their privacy, safety and security that may be incurred, as well as what constitutes an appropriate and proportionate measure in the specific context of the audited service and its use by minors. To this end, auditing organisations should break down the assessment into appropriate steps. They should assess the audit risks according to the risk profile of the audited provider, notably whether it is available to or predominantly used by minors. They should assess, for example, whether the provider has put in place age assurance tools, whether these are effective and how the audited provider assesses and monitors their effectiveness. They should assess whether the audited provider has put in place appropriate measures for detecting adversarial use of their service and behavioural patterns that seek to harm or are likely to harm minors.
(25)
The selection of methodologies should be adapted to the control risks linked to the compliance measures put in place by the audited provider, as well as to the detection risks, namely the risk not to detect misstatements in the information the provider makes available to the auditing organisation. For example, where an audited obligation could involve the audit of an algorithmic system based on personalisation for individual recipients of the audited service and on recurrent updates of the algorithmic system, such as the disclosure obligations for recommender systems pursuant to Article 27 of Regulation (EU) 2022/2065, the choice of methodology should allow the auditing organisation to design the appropriate tests to minimise detection risks. Similarly, where the auditing organisation seeks to assess whether all relevant risks were mitigated in the design, functioning and use of applications based on large-scale language models, such as chat functionalities or recommender systems deployed by the audited provider, the auditing organisation should first assess the appropriateness of the controls put in place by the provider. The choice of tests should be informed by the robustness of those internal controls. In particular, but not limited to the cases where the internal controls are weak, incomplete or inconclusive to assess whether the rules are complied with when considering the population of recipients of the audited service, the audit procedures should rely on a combination of methodologies. For example, methodologies could include substantive analytical procedures, such as the analysis of the interactions between all algorithmic systems involved in the recommender systems and related decision-making rules and processes for establishing the main parameters of those recommender systems, observations of digital records and logs. Methodologies should also include tests of the system, such as tests in simulated environments.
(26)
In order to ensure that the methodology is relevant and adapted to new findings during the performance of the audit, the selection of methodologies should be guided by the professional judgment of the auditing organisation and should be adjusted to address those new findings, in particular when the auditing organisation has reasonable doubts in relation to the information submitted by the audited provider. The professional scepticism of the auditing organisation should be based on its expertise, as well as on other sources of information of particular relevance for the application of Regulation (EU) 2022/2065 such as reports from the European Board for Digital Services, guidance from the Commission, audit reports issued from codes of conduct or crisis protocols referred to in Articles 45, 46 and 48 of that Regulation or information emerging during the performance of the audit, including when related to events, in particular crisis situations, that require additional actions from the audited provider to ensure compliance with certain audited obligations or commitments.
(27)
In order to ensure that sufficient audit evidence is gathered during the audit, auditing organisations should assess both the internal controls of the audited provider and perform substantive audit procedures for assessing the audited provider’s compliance. In certain cases, the auditing organisation should also perform tests.
(28)
Given the complexity of algorithmic systems used by providers of online platforms and their important role in complying with several obligations laid out in Regulation (EU) 2022/2065, particular attention should be paid to the necessary and appropriate methodological choices for auditing algorithmic systems. This is the case both when algorithmic systems are part of the controls put in place by the audited provider, and when they are themselves the subject-matter of the audited obligations or commitments, such as with respect to recommender systems, for example pursuant to Articles 27, 34, 35, and 38 of Regulation (EU) 2022/2065, or advertising systems, for example pursuant to Articles 26, 28, 34, 35, and 39 of that Regulation, content moderation systems, for example pursuant to Articles 14, 15, 34 and 35 of that Regulation, or any other algorithmic system that contributes to the risks referred to in Article 34 of that Regulation.
(29)
A combination of substantive analytical procedures should also be used, including, as appropriate, based on observations of processes and activities of the audited provider in designing, developing, operating, testing, and monitoring algorithmic systems, or observations of digital records and logs produced by the systems. The methodologies should be adapted to the particularities of algorithmic systems, including their governance, the interaction between different algorithmic systems as well as the related data management systems, and to the technologies underlying those algorithmic systems, such as generative models or other classifiers, selection or search algorithms.
(30)
Furthermore, audit methodologies for algorithmic systems should include tests, for example, to gather information that the audited provider has not previously documented, or to independently reproduce and assess results of accuracy indicators, tests in sandboxes or simulated environments, or tests in production systems, including through data scraping or adversarial testing.
(31)
Given that the high quality of the audit evidence is a necessary condition for an auditing organisation to form an audit opinion with a reasonable level of assurance, the information that the auditing organisation decides to use as audit evidence should be appropriate and sufficient to reduce audit risks. In addition, the audit evidence should be reliable according to the auditing organisation’s professional judgment and scepticism and, where appropriate, in the light of alternative sources of information. Professional judgment and scepticism should include a critical assessment of audit evidence and possible misstatements. Those quality standards should apply to all audit evidence regardless of whether it has been provided by the audited provider or collected from other sources.
(32)
A range of sources of information should be considered by the auditing organisation and could include, for example, interviews with the personnel or contractors of the audited provider, including compliance officers, engineers, data scientists, software architects, or members of internal audit teams. They could also include technical documentation on the design, implementation, testing and monitoring of a relevant system, including on data quality and governance and on updates and versions of the system, and other documents on the audited provider’s governance and decision-making processes, including in view of priorities, resources, allocations of tasks and responsibilities, or the expertise of relevant personnel.
(33)
In order to ensure efficiency and proportionality in the performance of the audit, the auditing organisation should be allowed to sample data and information, with due regard to reaching a representative sample, to enable the auditing organisation to reach an audit opinion with a reasonable level of assurance. To ensure transparency and reproducibility of the audit procedures, the auditing organisation should provide justifications of the choices of sample size and method of the sampling in the audit report. For example, the size of the sample and methodology should be selected considering what is effective in meeting the purpose of auditing the specific audited obligation or commitment, and to minimise the risk that the conclusion of auditing the specific sample is different from what the conclusion would be if the entire population of evidence were subjected to the auditing procedure. The size and methodology for the sample should be selected considering the full scope of the audit, as well as internal or external changes to the audited service during this time. They should also be adapted to the particularities of algorithmic systems including as regards personalisation by profiling. As a part of this consideration the auditing organisation should, for example, appropriately sample from the different cohorts or partitions that may result from personalisation techniques, or identify the margin of error and justify why it is at an acceptable level.
(34)
Given the novelty of certain provisions of Regulation (EU) 2022/2065, it is necessary to set out methodological principles, including audit questions, and further orientations for the selection of the audit methodologies and audit evidence for the assessment of compliance with those provisions, namely for assessing compliance with Articles 34, 35 and 36 of Regulation (EU) 2022/2065 on the performance of risk assessments and the adoption of risk mitigation measures by audited providers and on the application of obligations with respect to crisis response.
(35)
Given that auditing organisations should also assess compliance of the audited provider with Article 37 of Regulation (EU) 2022/2065, further specifications should also be provided on the precise audit with respect to which compliance should be assessed, in particular to avoid any conflicts of interests for the auditing organisation.
(36)
In view of the voluntary nature of codes of conduct and crisis protocols, it is necessary to provide specific rules for auditing compliance with Articles 45, 46 and 48 of Regulation (EU) 2022/2065, in particular to ensure that auditing organisations dispose of all the necessary information to perform audits specific to the commitments under each code of conduct and crisis protocol,
HAS ADOPTED THIS REGULATION:
SECTION I
General provisions
Article 1
Subject matter
This Regulation lays down rules on the performance of audits pursuant to Article 37 of Regulation (EU) 2022/2065, as regards:
(a)
the procedural steps for ensuring that the auditing organisation to be selected fulfils the conditions laid down in Article 37(3) of Regulation (EU) 2022/2065;
(b)
the procedural steps for cooperation and assistance by the audited provider in the performance of audits, including accessing relevant information with a view to obtaining audit evidence;
(c)
the definition and selection of auditing methodologies;
(d)
the templates for the audit report and the audit implementation report.
Article 2
Definitions
For the purpose of this Regulation, the following definitions shall apply:
(1)
‘auditing organisation’ means an individual organisation, a consortium or other combination of organisations, including any sub-contractors, that the audited provider has contracted to perform an independent audit in accordance with Article 37 of Regulation (EU) 2022/2065;
(2)
‘audited service’ means a very large online platform or a very large online search engine designated in accordance with Article 33 of Regulation (EU) 2022/2065;
(3)
‘audited provider’ means the provider of an audited service which is subject to independent audits pursuant to Article 37(1) of that Regulation;
(4)
‘audited obligation or commitment’ means an obligation or commitment referred to in Article 37(1) of Regulation (EU) 2022/2065 which forms the subject matter of the audit;
(5)
‘audit criteria’ means the criteria against which the auditing organisation assesses compliance with each audited obligation or commitment;
(6)
‘audit evidence’ means any information used by an auditing organisation to support the audit findings and conclusions and to issue an audit opinion, including data collected from documents, databases or IT systems, interviews or testing performed;
(7)
‘misstatement’ means an intentional or unintentional omission, misrepresentation or error in the declarations or data reported or provided by the audited provider to the auditing organisation, or in the testing environment made available by the audited provider to the auditing organisation;
(8)
‘audit risk’ means the risk that the auditing organisation issues an incorrect audit opinion or reaches an incorrect conclusion concerning the audited provider’s compliance with an audited obligation or commitment, considering detection risks, inherent risks and control risks with respect to that audited obligation or commitment;
(9)
‘detection risk’ means the risk that the auditing organisation does not detect a misstatement that is relevant for the assessment of the audited provider’s compliance with an audited obligation or commitment;
(10)
‘inherent risk’ means the risk of non-compliance intrinsically related to the nature, the design, the activity and the use of the audited service, as well as the context in which it is operated, and the risk of non-compliance related to the nature of the audited obligation or commitment;
(11)
‘control risk’ means the risk that a misstatement is not prevented, detected and corrected in a timely manner by means of the audited provider’s internal controls;
(12)
‘materiality threshold’ means the threshold beyond which deviations or misstatements by the audited provider, individually or aggregated, would reasonably affect the audit findings, conclusions and opinions;
(13)
‘reasonable level of assurance’ means a high but not absolute level of assurance, which allows the auditing organisation to assert in its audit opinion and audit conclusions whether the audited provider complies with the audited obligations or commitments, based on sufficient and appropriate evidence;
(14)
‘internal control’ means any measures, including processes and tests, that are designed, implemented and maintained by the audited provider, including its compliance officers and management body, to monitor and ensure the audited provider’s compliance with the audited obligation or commitment;
(15)
‘vetted researcher’ means a researcher vetted in accordance with Article 40(8) of Regulation (EU) 2022/2065;
(16)
‘audit procedure’ means any technique applied by the auditing organisation in the performance of the audit, including data collection, the choice and application of methodologies, such as tests and substantive analytical procedures, and any other action taken to collect and analyse information to collect audit evidence and formulate audit conclusions, not including the issuing of an audit opinion or of the audit report;
(17)
‘test’ means an audit methodology consisting in measurements, experiments or other checks, including checks of algorithmic systems, through which the auditing organisation assesses the audited provider’s compliance with the audited obligation or commitment;
(18)
‘substantive analytical procedure’ means an audit methodology used by the auditing organisation to assess information to infer audit risks or compliance with the audited obligation or commitment.
Article 3
Scope of the audit and reasonable level of assurance
1.   The audit shall be performed in a manner and for a duration that allows the auditing organisation to assess the audited provider’s compliance with all audited obligations and commitments with a reasonable level of assurance.
2.   The audit shall cover the period starting immediately after the period covered by the previous audit and ending on a date that allows the auditing organisation to perform the audit within the time frame required by Article 37(1) of Regulation (EU) 2022/2065, including by asserting its assessment pursuant to paragraph 1 based on the evidence collected and audit procedures conducted during that period, and by completing and submitting the audit report pursuant to Article 37(4) of that Regulation to the audited provider.
3.   Where no previous audit was performed, the audit shall cover the period starting four months after the notification referred to in Article 33(6), first subparagraph, of Regulation (EU) 2022/2065, and the duration of the audit shall allow for the audit report pursuant to Article 6(1) to be completed at the latest within a year as from the start of the audited period.
SECTION II
Conditions for the performance of the audit
Article 4
Selection of the auditing organisation
1.   Prior to selecting an auditing organisation with a view to performing the audit, the audited provider shall check whether the organisation to be selected fulfils the requirements laid down in Article 37(3) of Regulation (EU) 2022/2065.
2.   Where the auditing organisation to be selected consists of more than one legal person or intends to have recourse to one or several sub-contractors, the audited provider shall check whether all those legal persons or subcontractors:
(a)
individually fulfil the requirements laid down in Article 37(3), points (a) and (c), of Regulation (EU) 2022/2065;
(b)
jointly fulfil the requirement laid down in Article 37(3), point (b), of Regulation (EU) 2022/2065.
Article 5
Cooperation and assistance between the audited provider and the auditing organisation
1.   At a time agreed with the auditing organisation, and in any event prior to the performance of any audit procedure, the audited provider shall transmit to the selected auditing organisation at least the following information:
(a)
a description of the internal controls put in place with respect to each audited obligation and commitment, including related indicators and all present and historical measurements, and benchmarks used by the audited provider to assert or monitor compliance with the audited obligations and commitments, as well as any supporting documentation;
(b)
its preliminary analysis of inherent and control risks, where the audited provider has performed such an analysis, and any supporting documentation;
(c)
information about any relevant decision-making structures, competences of departments of the provider, including the compliance function pursuant to Article 41 of Regulation (EU) 2022/2065, relevant IT systems, data sources, processing and storage, as well as explanations of relevant algorithmic systems and their interactions.
2.   The audited provider shall grant the auditing organisation, without undue delay, access to all data necessary for the performance of the audit, including personal data, documentation, information on procedures and processes, and to the information technology systems, testing environments, personnel and premises of that provider, and any relevant sub-contractors.
3.   The audited provider shall make all necessary resources available and provide the auditing organisation with the assistance and explanations necessary for the auditing organisation to analyse the relevant information and to carry out tests, including where the information requested by the auditing organisation in accordance with Article 37(3) of Regulation (EU) 2022/2065 is held by a third-party contracted by the audited provider.
SECTION III
Performance of audits
Article 6
Audit report and audit implementation report
1.   The audit report referred to in Article 37(4) of Regulation (EU) 2022/2065 shall be established by the auditing organisation, without interference from the audited provider. That audit report shall be drawn up in accordance with the template in Annex I, and shall contain detailed and substantiated conclusions in relation to all elements of the template.
2.   Where applicable, the audit implementation report referred to in Article 37(6) of Regulation (EU) 2022/2065 shall be drawn up in accordance with the template in Annex II.
Article 7
Procedures for the preparations for the audit
1.   The audited provider and the auditing organisation shall conclude a written agreement setting out:
(a)
the exhaustive list of audited obligations and commitments;
(b)
the responsibilities of the audit organisation, including, where applicable, detailed for each legal person constituting the auditing organisation, and the parties empowered to sign the audit report;
(c)
the procedures and contact points made available by the audited provider for the auditing organisation to request access to data referred to in Article 5(2);
(d)
the timeframe for the audit, including the start and end date of the audit procedures and the completion of the audit report;
(e)
a procedure on how disputes between the audited provider and the auditing organisation arising from the performance of the audit shall be resolved.
2.   The agreement referred to in paragraph 1, as well as any other agreements or engagements letters between the auditing organisation and the audited provider related to the performance of the audit, shall be annexed to the audit report.
3.   Where changes are made to the agreement referred to in paragraph 1 during the performance of the audit, they shall be made explicit in the audit report.
Article 8
Audit opinion, audit conclusions and recommendations
1.   The audit report shall include the audit conclusions that the auditing organisation has reached on the audited provider’s compliance with each of the audited obligations and commitments. The audit conclusions shall be either:
(a)
‘positive’, where the auditing organisation concludes with a reasonable level of assurance that the audited provider has complied with an audited obligation or commitment;
(b)
‘positive with comments’, where the auditing organisation concludes with a reasonable level of assurance that the audited provider has complied with an audited obligation or commitment, but:
(i)
the auditing organisation includes remarks on the benchmarks provided by the audited provider pursuant to Article 5(1), point (a); or
(ii)
the auditing organisation recommends improvements that do not have a substantive effect on its conclusion;
(c)
‘negative’, where the auditing organisation concludes with a reasonable level of assurance that the audited provider has not complied with an audited obligation or commitment.
2.   Where an audit report includes operational recommendations pursuant to Article 37(4), point (h) of Regulation (EU) 2022/2065, those recommendations and their recommended timeframe shall be specific to each audited obligation or commitment for which the audit conclusion pursuant to paragraph 1 is ‘positive with comments’ or ‘negative’.
3.   Where the operational recommendations referred to in paragraph 2 include specific measures to achieve compliance, they shall be formulated in a way that explains the auditing organisation’s assessment of how such measures would affect the materiality threshold by comparison with the audit conclusion for the respective audited obligation or commitment.
4.   On the basis of the audit conclusions, the audit report shall include an audit opinion on the audited provider’s compliance with all audited obligations referred to in Article 37(1), point (a), of Regulation (EU) 2022/2065.
5.   On the basis of the conclusions of all audited commitments, the audit report shall include an audit opinion or opinions, as applicable, on the audited provider’s compliance with all audited commitments made by the audited provider under each code of conduct and crisis protocol referred to in Article 37(1), point (b), of Regulation (EU) 2022/2065.
6.   Audit opinions pursuant to paragraphs 4 and 5 shall be either:
(a)
‘positive’ if the auditing organisation has reached a ‘positive’ audit conclusion for all of the audited obligations or commitments;
(b)
‘positive with comments’ if the auditing organisation has reached at least one audit conclusion that is ‘positive with comments’ for an audited obligation or commitment and has not reached a ‘negative’ audit conclusion for any of the audited obligations or commitments;
(c)
‘negative’ if the auditing organisation reached a ‘negative’ audit conclusion for at least one audited obligation or commitment.
7.   Where the auditing organisation assesses that, for a limited period during the period referred to in Article 3(2), the provider has not complied with an audited obligation or commitment, the audit report shall duly document that assessment.
8.   Where the auditing organisation cannot issue with a reasonable level of assurance an audit conclusion pursuant to paragraph 1 or an audit opinion pursuant to paragraphs 4 and 5, the audit report shall include an explanation of the circumstances and the reasons why such a level of assurance could not be achieved.
SECTION IV
Audit methodologies
Article 9
Audit risks analysis
1.   The audit report shall include a substantiated audit risk analysis performed by the auditing organisation for the assessment of the audited provider’s compliance with each audited obligation or commitment.
2.   The audit risk analysis shall be carried out prior to the performance of audit procedures and shall be updated during the performance of the audit, in the light of any new audit evidence which, according to the professional judgement of the auditing organisation, materially modifies the assessment of the audit risk.
3.   The audit risk analysis shall consider:
(a)
inherent risks;
(b)
control risks;
(c)
detection risks.
4.   The audit risk analysis shall be conducted taking into account:
(a)
the nature of the audited service and the societal and economic context in which the audited service is operated, including probability and severity of exposure to crisis situations and unexpected events;
(b)
the nature of the obligations and commitments;
(c)
other appropriate information, including:
(i)
where applicable, information from previous audits to which the audited service was subjected;
(ii)
where applicable, information from reports issued by the European Board for Digital Services or guidance from the Commission, including guidelines issued pursuant to Article 35(2) and (3) of Regulation (EU) 2022/2065, and any other relevant guidance issued by the Commission with respect to the application of Regulation (EU) 2022/2065;
(iii)
where applicable, information from audit reports published pursuant to Article 42(4) of Regulation (EU) 2022/2065 by other providers of very large online platforms or of very large online search engines operating in similar conditions or providing similar services to the audited service.
Article 10
Appropriate audit methodologies
1.   Without prejudice to the specific audit methodologies set out in Articles 13, 14, and 15, audits shall be performed by using appropriate auditing methodologies to reduce the assessed audit risks to a level that enables the auditing organisation to reach audit conclusions at a reasonable level of assurance.
2.   The audit report shall include a description of the audit methodologies designed by the auditing organisation prior to performing any audit procedures, including at least:
(a)
the audit criteria, for assessing compliance with each audited obligation or commitment, defined on the basis of information pursuant to Article 5(1), point (a), and the materiality threshold tolerated and expressed in qualitative or quantitative terms, as appropriate;
(b)
all tests and substantive analytical procedures and audit evidence that the auditing organisation intends to use to assess compliance for each audited obligation or commitment.
The audit report shall include a description of any changes to the methodologies used during the performance of the audit compared to the methodologies designed prior to performing audit procedures.
3.   Where an auditing organisation has reasonable doubts concerning the information assessed in the performance of the audit, in particular as regards information that has been presented by the audited provider, the choice and application of the methodology shall be adapted to afford that organisation the necessary audit evidence in accordance with Article 11.
4.   Reasonable doubts referred to in paragraph 3 shall be deemed to arise, in particular, in the presence of any of the following elements:
(a)
professional judgment and scepticism in assessing information, including concerning internal controls of the audited provider, that leads the auditing organisation to formulate reasonable doubts;
(b)
external indications pointing to audit risks, in particular reports from the European Board for Digital Services referred to in Article 35(2) of Regulation (EU) 2022/2065, guidance from the Commission including through guidelines referred to in Article 35(3) of that Regulation, and any other relevant guidance issued by the Commission with respect to the application of Regulation (EU) 2022/2065, and audit reports issued pursuant to codes of conduct or crisis protocols referred to in Articles 45, 46 and 48 of that Regulation;
(c)
information related to events occurring during the performance of the audit, including crisis situations, that require additional actions from the audited provider to ensure compliance with certain audited obligations or commitments.
5.   Audit procedures shall include at least:
(a)
the performance of tests and substantive analytical procedures for the internal controls the audited provider has put in place for each of the audited obligations or commitments;
(b)
the performance of substantive analytical procedures to assess compliance with each audited obligation and commitment, including as regards algorithmic systems;
(c)
the performance of tests, including with respect to algorithmic systems, concerning the audited obligations and commitments in relation to which the auditing organisation has reasonable doubts, as referred to in paragraph 4, and concerning audited obligations and commitments where the auditing organisation deems necessary to perform tests in its choice of methodology pursuant to paragraph 1.
6.   Where obligations or commitments referred to in Article 37(1) of Regulation (EU) 2022/2065 require the audited provider to report certain information publicly, the auditing methodologies shall include an assessment of whether the reported information is free from material error or omission which might otherwise render them misleading.
Article 11
Quality of audit evidence
The audit conclusions and audit opinions shall be based on audit evidence which fulfils both of the following requirements:
(a)
it is relevant and sufficient to reduce audit risks identified in accordance with Article 9, and to enable the auditing organisation to provide audit conclusions and opinions in accordance with Article 8;
(b)
it is reliable, according to the auditing organisation’s professional judgment and scepticism.
Article 12
Sampling methods
1.   Where audit evidence is based, partially or entirely, on a sample of data or information, the sample size and methodology for sampling shall be selected with a view to minimising the detection risk and without interference by the audited provider.
2.   The sample size and methodology for sampling shall be selected in a way that ensures representativeness of the data or information and, as appropriate, in consideration of all of the following:
(a)
the representativeness of the sample for the period referred to in Article 3(2) and (3);
(b)
relevant changes to the audited service during that period;
(c)
relevant changes to the context in which the audited service is provided during that period;
(d)
relevant features of algorithmic systems, where applicable, including personalisation based on profiling or other criteria;
(e)
other relevant characteristics or partitions of the data, information and evidence under consideration;
(f)
the representation and appropriate analysis of concerns related to particular groups as appropriate, such as minors or vulnerable groups and minorities, in relation to the audited obligation or commitment.
3.   The audit report shall include a justification of the choice of the sample size and of the methodology for sampling.
Article 13
Specific methodologies for auditing compliance with Article 34 of Regulation (EU) 2022/2065 on risk assessment
1.   The assessment of the audited provider’s compliance with Article 34 of Regulation (EU) 2022/2065 shall include, but not be limited to, an analysis of all of the following:
(a)
whether the audited provider has diligently identified, analysed, and assessed the systemic risks in the Union referred to in Article 34(1), first subparagraph, of Regulation (EU) 2022/2065, including by assessing:
(i)
how the audited provider identified the risks that are linked to its service, taking into account regional and linguistic aspects of the use made of its service, including when specific to a Member State, and whether the risks are appropriately identified;
(ii)
how the audited provider analysed and assessed each risk, including how it considered the probability and severity of the risks, and whether the assessment was appropriate;
(iii)
how the audited provider identified, analysed and assessed the factors referred to in Article 34(2), first subparagraph, of Regulation (EU) 2022/2065, whether they were appropriately identified, and to what extent such factors influence the risks identified in paragraph 1 of that Article;
(iv)
what sources of information the audited provider used, how it collected the information, including whether and how it relied on scientific and technical insights;
(v)
whether and how the audited provider tested assumptions on risks with groups most impacted by the specific risks;
(b)
whether the risk assessment was performed within the timeframes set out in Article 34(1), second subparagraph, of Regulation (EU) 2022/2065 and, where applicable, within the timeframes set for activities established as risk mitigation measures for the detection of systemic risks pursuant to Article 35(1), point (f) of that Regulation;
(c)
how the audited provider identified functionalities that are likely to have a critical impact on the risks for which risk assessments shall be conducted prior to their deployment, pursuant to Article 34(1), second subparagraph, of Regulation (EU) 2022/2065, whether those functionalities were correctly identified, and whether the risk assessment was appropriately conducted;
(d)
whether the audited provider correctly identified the supporting documentation that should be preserved with respect to the risk assessment and whether it has put in place the necessary means to ensure the preservation of that documentation for at least three years, pursuant to Article 34(3) of Regulation (EU) 2022/2065, and whether the documentation was preserved accordingly.
2.   Without prejudice to any other analysis necessary for reaching a reasonable level of assurance, methodologies for auditing compliance with Article 34 of Regulation (EU) 2022/2065 shall include at least an assessment by the auditing organisation of the following elements:
(a)
the internal controls that the audited provider has put in place to monitor the performance of risk assessments regarding each factor referred to in Article 34(2), first subparagraph, of Regulation (EU) 2022/2065; such assessment shall:
(i)
be based on substantive analytical procedures, for those internal controls;
(ii)
be based on tests of whether those internal controls are reliable and diligently conceived, executed and monitored;
(iii)
evaluate how the compliance officer or officers performed their tasks with respect to Article 41(3), points (b), (d), (e) and, where applicable, (f), of Regulation (EU) 2022/2065 and how the management body of the audited provider was involved in the decisions related to risk management pursuant to Article 41(6) and (7) of that Regulation;
(b)
the actions, means and processes put in place by the audited provider to ensure compliance with Article 34 of Regulation (EU) 2022/2065 and the results thereof; such assessment shall be based on:
(i)
substantive analytical procedures;
(ii)
tests, including of algorithmic systems, where the auditing organisation has reasonable doubts, following the results of the substantive analytical procedures and the assessment of internal controls, or where the auditing organisation deems necessary to perform tests in its choice of methodology pursuant to article 10(1).
3.   Information analysed by the auditing organisation in support of the assessment carried out pursuant to this Article shall consist of, but not be limited to:
(a)
the risk assessment report for the relevant audited period, which has been drawn up by the audited including, where necessary, confidential information that is not part of the information published pursuant to Article 42(2) of that Regulation, and all supporting documents;
(b)
where relevant, other risk assessments reports of the audited provider and their supporting documents;
(c)
information submitted by the audited provider pursuant to Article 5;
(d)
all relevant transparency reports of the audited provider referred to in Article 15(1) of Regulation (EU) 2022/2065;
(e)
any other test results, documentation, evidence, statements made in response to written or oral questions addressed by the auditing organisation to the personnel of the audited provider, and observations made on premises, where applicable;
(f)
other relevant evidence, including based on information made available by the audited provider;
(g)
where available, reports referred to in Article 35(2) of Regulation (EU) 2022/2065 and guidance from the Commission, including guidelines issued pursuant to Article 35(3) of that Regulation and any other relevant guidance issued by the Commission with respect to the application of Regulation (EU) 2022/2065.
4.   Information analysed by the auditing organisation may comprise, as appropriate, information referred to in Article 42(4) of Regulation (EU) 2022/2065, including from audit, risk assessment and risk mitigation reports, concerning other very large online platforms or very large online search engines, or data and research made publicly available by vetted researchers pursuant to Article 40(8), point (g), of the Regulation.
Article 14
Specific methodologies for auditing compliance with Article 35 of Regulation (EU) 2022/2065 on mitigation of risks
1.   The assessment of the audited provider’s compliance with Article 35 of Regulation (EU) 2022/2065 shall include, but not be limited to, an analysis of all of the following:
(a)
how the audited provider identified risk mitigation measures for each of the systemic risks referred to in Article 34(1) of Regulation (EU) 2022/2065, and whether the identification of such risk mitigation measures was carried out in a diligent manner;
(b)
how the audited provider assessed whether the risk mitigation measures in Article 35(1), points (a) to (k), of Regulation (EU) 2022/2065 were applicable to the audited service and whether the conclusion of that assessment was appropriate, including as regards those measures which were not applied by the audited provider;
(c)
whether the mitigation measures put in place by the audited provider are reasonable, proportionate and effective for mitigating the respective risks, including by
(i)
assessing whether they respond collectively to all the risks, with particular consideration of the risks concerning the exercise of fundamental rights;
(ii)
assessing comparatively how the risks were addressed before and after the specific risk mitigation measures were put in place;
(iii)
whether the risk mitigation measures were appropriately designed and executed.
2.   Without prejudice to any other analysis necessary for reaching a reasonable level of assurance, methodologies for auditing compliance with Article 35 of Regulation (EU) 2022/2065 shall include at least an assessment by the auditing organisation of the following elements:
(a)
the internal controls the audited provider has put in place to monitor the application of risk mitigation measures referred to in Article 35(1) of Regulation (EU) 2022/2065 and whether they are reasonable, proportionate and effective; such assessment shall:
(i)
be based on substantive analytical procedures for those internal controls;
(ii)
be based on tests, of whether those internal controls are reliable and diligently conceived, executed and monitored;
(iii)
evaluate how the compliance officer or officers performed their tasks with respect to Article 41(3), points (b), (d), (e) and, where applicable, (f), of Regulation (EU) 2022/2065, and how the management body of the provider was involved pursuant to Article 41(6) and (7) of that Regulation;
(b)
mitigation measures put in place by audited providers; such assessment shall be based on:
(i)
substantive analytical procedures;
(ii)
tests, including of algorithmic systems, where the auditing organisation has reasonable doubts, following the results of the substantive analytical procedures and the assessment of internal controls, or where the auditing organisation deems necessary to perform tests in its choice of methodology pursuant to Article 10(1).
3.   Information analysed by the auditing organisation in support of the assessment carried out pursuant to this Article shall consist of, but not be limited to:
(a)
the reports on risk assessment and risk mitigation for the relevant audited period, which have been drawn up by the audited provider including, where necessary, confidential information that is not part of the information published pursuant to Article 42(2) of Regulation (EU) 2022/2065, and all supporting documents;
(b)
where relevant, other reports on risk assessment and risk mitigation of the audited provider and their supporting documents;
(c)
information submitted by the audited provider pursuant to Article 5;
(d)
all relevant transparency reports of the audited provider referred to in Article 15(1) of Regulation (EU) 2022/2065;
(e)
where relevant, past reports on risk mitigation and their supporting documents, which concern periods not covered by the audited period, including, where necessary, confidential information that is not part of the information published pursuant to Article 42(2) of Regulation (EU) 2022/2065;
(f)
any other test results, documentation, evidence, statements made in response to written and or oral questions addressed by the auditing organisation to the personnel of the audited provider, and observations made on premises, where applicable;
(g)
other relevant evidence, including based on information made available by the audited provider;
(h)
where available, reports referred to in Article 35(2) of Regulation (EU) 2022/2065 and guidance from the Commission, including guidelines issued pursuant to Article 35(3) of that Regulation and any other relevant guidance issued by the Commission with respect to the application of Regulation (EU) 2022/2065.
4.   Information analysed by the auditing organisation may comprise, as appropriate, information referred to in Article 42(4) of Regulation (EU) 2022/2065, including from audit, risk assessment and risk mitigation reports, concerning other very large online platforms or very large online search engines, or data and research made publicly available by vetted researchers pursuant to Article 40(8), point (g), of Regulation (EU) 2022/2065.
Article 15
Specific methodologies for auditing compliance with Article 36 of Regulation (EU) 2022/2065 on crisis response mechanism
1.   The assessment of the audited provider’s compliance with Article 36(1), first subparagraph, point (a) of Regulation (EU) 2022/2065 shall include, but not be limited to, an analysis of whether and how the audited provider performed the required actions, in particular:
(a)
whether and how the audited provider identified the relevant systems involved in the functioning and use of their service that significantly contribute to the serious threat and whether those systems were appropriately identified;
(b)
whether and how the audited provider defined and monitored the significant contribution to the serious threat and whether its assessment was appropriate;
(c)
any other requirement specified in the Commission’s decision referred to in Article 36(1) or (7), second subparagraph, of Regulation (EU) 2022/2065, as appropriate.
2.   The assessment of the audited provider’s compliance with Article 36(1), first subparagraph, point (b), of Regulation (EU) 2022/2065 shall include, but not be limited to, an analysis of whether and how the audited provider performed the required actions, in particular:
(a)
whether and how the audited provider identified measures to prevent, eliminate or limit any contribution to the serious threat;
(b)
whether and how the measures taken by the audited provider addressed the gravity of the serious threat, the urgency, and whether the measures were appropriate in this respect;
(c)
whether and how the audited provider identified the parties concerned by the measures and their legitimate interests, and how the audited provider assessed the actual or potential impact of the measures on those parties’ rights, including fundamental rights, and legitimate interests;
(d)
whether the measures taken by the audited provided were effective and proportionate;
(e)
any other requirement specified in the Commission’s decision referred to in Article 36(1) or (7), second subparagraph, of Regulation (EU) 2022/2065, as appropriate.
3.   The assessment of the audited provider’s compliance with Article 36(1), first subparagraph, point (c) of Regulation (EU) 2022/2065, shall include, but not be limited to, an analysis of how the audited provider performed the required action, in particular whether the audited provider provided to the Commission the information required in the Commission’s decision referred to in Article 36(1) or (7), second subparagraph, of Regulation (EU) 2022/2065, and whether those reports were accurate.
Article 16
Auditing compliance with Article 37 of Regulation (EU) 2022/2065 on independent audit
1.   Compliance with the obligations laid down in Article 37 of Regulation (EU) 2022/2065 and in this Regulation shall be assessed in relation to the audit or audits performed for the yearly period preceding that of the current audit.
2.   In addition to paragraph 1, the audit shall include an assessment of the audited provider’s compliance with Article 37(2) of Regulation (EU) 2022/2065 with respect to the current audit.
3.   Where the previous audit or audits referred to in paragraph 1 were performed by the same auditing organisation as the current audit, or where the auditing organisation carrying out the current audit comprises at least one legal entity which participated in the previous audit, the audit report shall include an explanation of the steps put in place by the auditing organisation to ensure the objectivity of the assessment.
Article 17
Auditing compliance with codes of conduct and crisis protocols
1.   The audited provider shall make available to the auditing organisation:
(a)
a list and the text of all codes of conduct referred to in Articles 45 and 46 of Regulation (EU) 2022/2065 and crisis protocols referred to in Article 48 of that Regulation, to which the audited provider is a signatory;
(b)
a detailed list of commitments within those codes of conduct and crisis protocols that the audited provider has taken;
(c)
where applicable, the key performance indicators agreed under each code of conduct and crisis protocol;
(d)
where applicable, any available measurements, data and documentation, and any reports prepared by the audited provider with respect to the compliance of the audited provider with the commitments taken, including access to all relevant information and data related to the functioning of the services offered by the audited provider relevant to the implementation of the code of conduct or the crisis protocol;
(e)
where applicable, other measurements, data and documentation prepared by signatories of the code of conduct or the crisis protocol, and the assessments by the Commission or the Board referred to in Article 45(4) of Regulation (EU) 2022/2065.
2.   The assessment of the audited provider’s compliance with codes of conduct referred to in Article 45 of Regulation (EU) 2022/2065 shall include, but not be limited to, the measurement of key performance indicators agreed in the code of conduct pursuant to Article 45(3) of that Regulation, specifying the materiality threshold of the audit conclusions, and whether the reported data is accurate.
SECTION V
Final provisions
Article 18
Entry into force
This Regulation shall enter into force on the twentieth day following that of its publication in the 
Official Journal of the European Union
.
This Regulation shall be binding in its entirety and directly applicable in all Member States.
Done at Brussels, 20 October 2023.
For the Commission
The President
Ursula VON DER LEYEN
(
1
)
  
            
OJ L 277, 27.10.2022, p. 1
.
ANNEX I
TEMPLATE FOR THE AUDIT REPORT REFERRED TO IN ARTICLE 6
Table of contents
SECTION B: Auditing organisation(s)
To complete the section below, insert as many lines as necessary per point.
1.
Name(s) of organisation(s) constituting the auditing organisation:
…
2.
Information about the auditing team of the auditing organisation:
For each member of the auditing team, provide:
1.
their personal name;
2.
the individual organisation, part of the auditing organisation, they are affiliated with;
3.
their professional email address;
4.
descriptions of their responsibilities and the work they undertook during the audit.
…
3.
Auditors’ qualifications:
…
a.
Overview of the professional qualifications of the individuals who performed the audit, including domains of expertise, certifications, as applicable:
…
b.
Documents attesting that the auditing organisation fulfils the requirements laid down in Article 37(3), point (b) of Regulation (EU) 2022/2065 have been attached as an annex to this report:
…
4.
Auditors’ independence:
a.
Declaration of interests:
…
b.
References to any standards relevant for the auditing team’s independence that the auditing organisation(s) adheres to:
…
c.
List of documents attesting that the auditing organisation complies with the obligations laid down in Article 37(3), points (a) and (c) of Regulation (EU) 2022/2065 attached as annexes to this report:
…
5.
References to any auditing standards applied in the audit, as applicable:
…
6.
References to any quality management standards the auditing organisation adheres to, as applicable:
…
SECTION F.1: Third-parties consulted
Repeat this section per third-party consulted, incrementing the name of the section by one (for example, F.1, F.2, and so forth).
1.
Name of third party consulted:
…
2.
Representative and contact information of consulted third party:
…
3.
Date(s) of consultation:
…
4.
Input provided by third-party:
…
SECTION G: Any other information the auditing body wishes to include in the audit report (such as a description of possible inherent limitations).
Include as many lines as necessary in accordance with the allocation of responsibilities and empowerment as referred to in Article 7(1) point (b)
Date:
…
Signed by:
…
Place:
…
In the name of:
…
Responsible for:
…
Annexes to the Audit Report (as applicable):
Documents requested pursuant to Article 7(2) of this Regulation.
Documents relating to the audit risk analysis pursuant to Article 9 of this Regulation.
Documents attesting that the auditing organisation complies with the obligations laid down in Article 37(3), point (a) of Regulation (EU) 2022/2065.
Documents attesting that the auditing organisation complies with the obligations laid down in Article 37(3), point (b) of Regulation (EU) 2022/2065.
Documents attesting that the auditing organisation complies with the obligations laid down in Article 37(3), point (c) of Regulation (EU) 2022/2065.
Documentation and results of any tests performed by the auditing organisation, including as regards algorithmic systems of the audited provider.
Codes of conduct referred to in Article 45 and 46 of Regulation (EU) 2022/2065 under which the audited provider made commitments, including a clear indication of any commitment undertaken and of any agreed key performance indicator for that commitment.
Crisis protocols referred to in Article 48 of Regulation (EU) 2022/2065 implemented by the audited provider.
Any other annex the auditing organisation wishes to include.
ANNEX II
TEMPLATE FOR THE AUDIT IMPLEMENTATION REPORT REFERRED TO IN ARTICLE 6
Table of contents
SECTION A: General Information
1.
Audited provider:
…
2.
Address of the audited provider:
…
3.
Audit report on which this implementation report is based
Date of adoption of the audit report: …
Reference to the audit report (for example an URL):
…
4.
Information on the underlying audit and the involved parties (refer to sections A and B of the audit report of reference):
…
5.
Does the audit implementation report refer to an audit report on compliance with all the obligations and commitments pursuant to Article 37(1) of Regulation (EU) 2022/2065 applicable to the audited provider?
Yes/No 
(if ‘No’, indicate which obligations and commitments are covered in the audit report of reference)
…
6.
Where applicable, references to other audit reports resulting from audits pursuant to Article 37 of Regulation (EU) 2022/2065 that the audited provider is or will be subject to concerning the audited period:
…
ELI: http://data.europa.eu/eli/reg_del/2024/436/oj
ISSN 1977-0677 (electronic edition)

Summary:
Digital Services Act – auditing very large online platforms and search engines
SUMMARY OF:
Delegated Regulation (EU) 2024/436 supplementing Regulation (EU) 2022/2065 by laying down rules on audits for very large online platforms and very large online search engines
WHAT IS THE AIM OF THE DELEGATED REGULATION?
Delegated Regulation (EU) 2024/436 supplements the 
Digital Services Act
 (DSA) (Regulation (EU) 
2022/2065
, see 
summary
), setting out rules on carrying out audits on very large online platforms (VLOPs) and very large online search engines (VLOSEs).
These audits serve as a critical mechanism to guarantee that the providers of such platforms manage systemic risks effectively, particularly those concerning illegal content, disinformation and systemic risks posed to 
fundamental rights
, public security and democracy.
KEY POINTS
Independent audits are an important tool for supervising the compliance of VLOPs and VLOSEs with the rules laid down in the DSA. Under the DSA, providers of VLOPs and VLOSEs must submit to independent audits at their own expense at least once a year.
VLOPs and VLOSEs are defined as those having more than 45 million users in the 
European Union
 (EU) based on average monthly active recipients of the service. They must undergo regular audits to ensure adherence to their responsibilities under the DSA. The 
regulation
 specifies the scope, procedures and methodologies for these audits, ensuring that the results are consistent, transparent and comparable across the industry.
The 
audit process
 involves several phases, including the 
preparation phase
, where the audit plan is drawn, the 
reporting phase
, where the auditor provides a detailed 
audit report
, and an 
implementation phase
, in which the audited provider reports on steps it is taking or has taken following the recommendations of the auditor. These reports are shared with the 
European Commission
 and relevant regulatory bodies.
Audit scope and selection of auditors
The audit must be conducted to 
evaluate the provider’s compliance with obligations
, with a 
reasonable level of assurance
.
Audits must be conducted 
at least once a year
.
Audits should 
cover the period since the previous audit
 and end at a date that allows timely completion of the audit to ensure that there is at least one audit report per year.
If there has been no previous audit, the audit obligation starts four months after a service was designated as a VLOP or VLOSE and an audit 
must be completed within a year from that date
.
The provider must select an auditing organisation that meets DSA requirements, in particular the 
independence, expertise and ethics requirements
.
If the auditing organisation includes 
multiple entities or subcontractors
, they must individually meet legal requirements and jointly meet collective requirements.
Cooperation
Before the audit, the provider must give the auditor relevant information on internal controls, risk analysis and IT systems.
The provider must grant 
full access
 to data, personnel and systems for auditing purposes.
The provider must assist the auditing organisation in 
analysing and testing
 the provided information.
The provider and auditor must agree in writing on the 
audit scope, responsibilities and timeline
, and this agreement is to be annexed to the audit report.
Any 
changes made to the agreement
 during the audit must be noted in the report.
Methodologies
The 
delegated
 regulation outlines comprehensive 
audit procedures
 to ensure robust and consistent assessments. Auditing organisations must adhere to strict independence requirements and demonstrate that they have no conflicts of interest. Auditing organisations must assess the risks that they reach wrong audit conclusions and minimise this audit risk when they develop their audit methodologies. For some DSA provisions, the rules on 
audit methodologies
 and procedures include specific requirements, such as the following.
Risk assessment.
 Auditors must assess the platforms’ compliance with risk management obligations regarding systemic risks such as the risk of disseminating illegal content.
Mitigation of risks.
 Auditors evaluate how providers address risks through effective mitigation measures, which may rely, for example, on content moderation practices and algorithm transparency.
Crisis response mechanisms.
 Auditors examine the provider's ability to respond to crises, such as peaks in the prevalence of disinformation during elections or public health emergencies.
The text also specifies requirements around auditor independence, access to information, sampling methods and templates for the audit report and audit implementation report.
Conclusions and recommendations
The audit report must be 
detailed and include justifications for findings
 following a specific template.
The regulation provides templates for audit reports, ensuring that all platforms and auditors follow a 
consistent reporting format
, making it easier to compare results across different audits and organisations.
The auditing organisation must issue 
overall audit opinions on compliance
 with the DSA obligations and any voluntary commitments under codes of conduct or crisis protocols.
Audit conclusions on compliance with each audited obligation or commitment are categorised as:
positive
: compliance is met;
positive with comments
: compliance is met, but with remarks or suggestions for improvement;
negative
: compliance is not met, with advice on how to improve.
Recommendations must address specific issues identified during the audit, explaining their impact.
Three months after the audit is completed, providers of VLOPs and VLOSEs must publish the audit report, contributing to increased 
transparency
. The Commission and other supervisory authorities can take the audit results into account in supervising compliance with the DSA.
FROM WHEN DOES THE DELEGATED REGULATION APPLY?
The regulation has applied since 
22 February 2024
.
BACKGROUND
For further information, see:
Shaping Europe’s digital future
 (European Commission).
MAIN DOCUMENT
Commission Delegated Regulation (EU) 
2024/436
 of 
20 October 2023
 supplementing Regulation (EU) 2022/2065 of the European Parliament and of the Council, by laying down rules on the performance of audits for very large online platforms and very large online search engines (OJ L, 2024/436, 
2.2.2024
).
Successive amendments to Regulation (EU) 2024/436 have been incorporated into the original text. This 
consolidated version
 is of documentary value only.
RELATED DOCUMENTS
Regulation (EU) 
2022/2065
 of the European Parliament and of the Council of 
19 October 2022
 on a Single Market For Digital Services and amending Directive 2000/31/EC (Digital Services Act) (OJ L 277, 
27.10.2022
, 
pp. 1–102
).
last update 
4.2.2025

--- DANISH ---

Document:
Tidende 
Den Europæiske Unions
DA
Serie L
2024/436
2.2.2024
KOMMISSIONENS DELEGEREDE FORORDNING (EU) 2024/436
af 20. oktober 2023
om supplerende regler til Europa-Parlamentets og Rådets forordning (EU) 2022/2065 for så vidt angår fastsættelse af regler om gennemførelse af revision af meget store onlineplatforme og meget store onlinesøgemaskiner
EUROPA-KOMMISSIONEN HAR —
under henvisning til traktaten om Den Europæiske Unions funktionsmåde,
under henvisning til Europa-Parlamentets og Rådets forordning (EU) 2022/2065 af 19. oktober 2022 om et indre marked for digitale tjenester og om ændring af direktiv 2000/31/EF (forordning om digitale tjenester) 
(
1
)
, særlig artikel 37, stk. 7, og
ud fra følgende betragtninger:
(1)
Uafhængige revisioner er et vigtigt redskab i tilsynet med, at udbydere af meget store onlineplatforme og meget store onlinesøgemaskiner overholder deres forpligtelser i henhold til forordning (EU) 2022/2065. Selv om der er fastsat andre ansvarlighedsværktøjer i nævnte forordning, ikke mindst gennem øget offentlig kontrol med gennemsigtighedsrapporter og andre krav om offentliggørelse af data, spiller uafhængige revisionsinstanser en særlig rolle i vurderingen af sådanne udbyderes overholdelse af nævnte forordning på et tidligt tidspunkt. Konklusionerne og resultaterne af sådanne uafhængige revisioner og anbefalingerne herfra kan underrette tilsynet på en formålstjenlig måde. Samtidig udgør uafhængige revisioner en af flere kilder til oplysninger og analyser, som tilsynsmyndighederne kan anvende i deres tilsyns- og håndhævelsesrolle.
(2)
For at sikre, at uafhængige revisioner foretages på en effektiv, virkningsfuld, rettidig og sammenlignelig måde fra datoen for anvendelse af forordning (EU) 2022/2065, som defineret i samme forordnings artikel 92 og 93, bør Kommissionen fastsætte regler for gennemførelsen af revisioner, navnlig for så vidt angår de retlige forpligtelser for udbydere, der er underlagt revision, og de proceduremæssige skridt med henblik på at sikre, at instanser, der gennemfører revisioner, opfylder betingelserne om uafhængighed, ingen interessekonflikter, ekspertise og faglig etik som fastsat i artikel 37, stk. 3, i forordning (EU) 2022/2065.
(3)
For at lette en hensigtsmæssig gennemførelse af revisioner med et højt ekspertiseniveau og foregribe utilsigtede konsekvenser på markedet for revisionstjenester bør det præciseres, at revisioner, der foretages i overensstemmelse med artikel 37 i forordning (EU) 2022/2065, kan udføres af flere revisorer. Hvis det er nødvendigt, f.eks. på grund af behovet for særlig ekspertise inden for revision af visse forpligtelser eller tilsagn, f.eks. vedrørende udformningen og funktionen af algoritmiske systemer, forståelse for risiciene for de grundlæggende rettigheder eller spredningen af ulovligt indhold, kan udbyderen, der er underlagt revision, indgå aftale med forskellige revisionsinstanser eller et konsortium af instanser om at foretage revisionen. Revisionsinstanserne kan også give den nødvendige ekspertise i underentreprise, forudsat at både revisionsinstansen og underleverandørerne opfylder de nødvendige betingelser om uafhængighed, ikke-interessekonflikt, udviser objektivitet og overholder fagetiske standarder, og at de samlet set opfylder betingelserne om teknisk ekspertise. I sådanne tilfælde bør udbyderen, der er underlagt revision, stadig sikre, at dennes opfyldelse af alle de i artikel 37, stk. 1, i forordning (EU) 2022/2065 omhandlede forpligtelser og tilsagn, revideres mindst én gang om året.
(4)
Revisionserklæringerne, som er fastsat i artikel 37, stk. 4, litra g), i forordning (EU) 2022/2065, bør fremsættes af revisionsinstanser med et rimeligt niveau af revisionssikkerhed. For at opnå et rimeligt niveau af revisionssikkerhed bør revisionsinstansen have en høj, men ikke absolut, grad af tillid til, at der ikke har været nogen ukorrekte angivelser såsom udeladelser, urigtige oplysninger eller fejl, som ikke er blevet opdaget under revisionen. For at sikre et sådant niveau af revisionssikkerhed bør revisionsinstansen bl.a. indhente tilstrækkelig dokumentation og anvende passende revisionsmetoder i sin vurdering.
(5)
I henhold til artikel 37, stk. 1, i forordning (EU) 2022/2065 bør der gennemføres uafhængige revisioner mindst én gang om året i overensstemmelse med den årlige cyklus af risikovurderinger som fastsat i nævnte forordnings artikel 34. I visse tilfælde kan det dog være nødvendigt at foretage hyppigere revisioner. Rækkefølgen af revisioner bør sikre et kontinuerligt tilsyn med, at udbyderne, der er underlagt revision, overholder forordning (EU) 2022/2065 og relevante adfærdskodekser og kriseprotokoller. Udbyderen, der er underlagt revision, bør sikre, at den periode, hvor en given revision vurderer opfyldelsen af de forpligtelser og tilsagn, der er underlagt revision, supplerer den periode, der er omfattet af den foregående revision af udbyderens opfyldelse af disse forpligtelser og tilsagn, og at den begynder senest ved afslutningen af den af foregående revision omfattede periode. Da konklusionen på en revision omfatter både revisionsinstansens vurdering og udarbejdelsen af en revisionsrapport, bør de udbydere, der er underlagt revision, sikre, at revisionens varighed gør det muligt at afslutte revisioner mindst én gang om året, og at revisionsrapporterne derefter fremsendes til Kommissionen og koordinatoren for digitale tjenester uden unødig forsinkelse, jf. artikel 42, stk. 4, i forordning (EU) 2022/2065.
(6)
Selv om udbydere, der er underlagt revision, under ingen omstændigheder bør forsøge at øve indflydelse på gennemførelsen af revisionen og dens konklusioner, skal de opfylde deres forpligtelser i henhold til artikel 37 i forordning (EU) 2022/2065, herunder ved at aftale kontraktmæssige vilkår med revisionsinstansen og inden udvælgelsen af en revisionsinstans kontrollere, at denne instans opfylder betingelserne i artikel 37, stk. 3, i forordning (EU) 2022/2065.
(7)
Udbyderen, der er underlagt revision, bør f.eks. vurdere kontrakter, som denne tidligere har indgået med revisionsinstansen, eller kontrakter, der er indgået mellem revisionsinstansen og juridiske personer med tilknytning til udbyderen, der er underlagt revision. Udbyderen, der er underlagt revision, bør også medtage kontraktbestemmelser over for revisionsinstanser for at sikre, at betingelserne i artikel 37, stk. 3, i forordning (EU) 2022/2065 er opfyldt. Hvis revisionsinstansen består af flere enheder, bør udbyderen, der er underlagt revision, sikre sig, at alle disse enheder opfylder nævnte betingelser, herunder, hvis det er relevant, eventuelle underleverandører, der er ansat af revisionsinstansen med henblik på at yde støtte til gennemførelsen af revisionen i denne henseende. Selv om hver enhed, der gennemfører revisionen, hver især skal opfylde uafhængighedskravene og kravene om ingen interessekonflikter, bør disse enheder i fællesskab opfylde kravene vedrørende kompetence, ekspertise eller tekniske ressourcer og dermed give de forskellige enheder mulighed for at gennemføre forskellige dele af revisionen og bidrage med den kapacitet, kompetence og ekspertise, der er nødvendig for gennemførelse af revisionen. Hver af disse enheders ansvar for de respektive dele af revisionen bør fremgå af revisionsrapporten.
(8)
I henhold til artikel 37, stk. 3, litra a), nr. i), i forordning (EU) 2022/2065 bør udbyderen, der er underlagt revision, være særlig opmærksom på at undgå, at revisionsinstansen yder ikkerevisionsydelser til udbyderen, der er underlagt revision, når den kontrollerer, om en revisionsinstans opfylder uafhængighedskravene og kravene om ingen interessekonflikter. Udbyderen, der er underlagt revision, bør f.eks. vurdere, om der blev ydet tjenesteydelser, såsom dem, der er knyttet til systemer, software eller processer i forbindelse med spørgsmål, der er relevante for forpligtelsen eller tilsagnet, der er underlagt revision, såsom konsulenttjenester i forbindelse med vurdering af ydeevne, styring og software, uddannelsestjenester, udvikling eller vedligeholdelse af systemer eller udførelse af indholdsmoderation i underentreprise. Sådanne tjenester omfatter også tjenester, der ydes udbyderen, der er underlagt revision, og som består i at konsultere eller udvikle interne kontroller eller til interne formål vurdere, om udbyderne, der er underlagt revision, overholder forordning (EU) 2022/2065 eller adfærdskodekser og kriseprotokoller, herunder når dette er begrænset til regelmæssige test, såsom prøvninger udført af tredjemand af indholdsmoderationssystemers effektivitet. Dette bør ikke udelukke revisionsinstanser, der har udført lovpligtig finansiel revision.
(9)
I betragtning af kompleksiteten og den særlige karakter af juridisk-kritiske revisioner i forbindelse med forordning (EU) 2022/2065 er revisionsinstansens faglige ekspertise afgørende for gennemførelsen af revisioner med et rimeligt niveau af revisionssikkerhed og for udøvelsen af den faglige dømmekraft og skepsis, der gør det muligt for den nævnte instans f.eks. at vide, hvilke oplysninger der er nødvendige for at gennemføre revisionsprocedurerne eller anfægte modstridende oplysninger. Udbyderen, der er underlagt revision, bør derfor kontrollere, om revisionsinstansen giver adgang til en sådan ekspertise, herunder inden for risikostyring, både med hensyn til revisionsrisici og genstanden for forordning (EU) 2022/2065 og navnlig de systemiske risici af samfundsmæssig betydning som fastsat i nævnte forordnings artikel 34. Desuden bør udbyderen, der er underlagt revision, kontrollere revisionsinstansens tekniske kompetence og kapacitet med henblik på den specifikke tjeneste, der er underlagt revision, herunder dens faglige ekspertise, f.eks. med hensyn til funktionen og virkningerne af algoritmiske systemer såsom anbefalingssystemer og andre sociotekniske systemer, der anvendes af udbyderen. Revisionsinstansen bør have mulighed for at give den nødvendige ekspertise og kapacitet i underentreprise eller på anden måde erhverve og anvende den nødvendige ekspertise og kapacitet, og udbyderen, der er underlagt revision, bør kontrollere og sikre, at revisionsinstansen er i stand til at erhverve denne ekspertise og kapacitet inden revisionens gennemførelse.
(10)
Ved kontrollen af, at revisionsinstanser opfylder betingelserne i artikel 37, stk. 3, i forordning (EU) 2022/2065, bør udbyderen, der er underlagt revision, vurdere relevant dokumentation, herunder, hvis det er relevant, certificeringer, erklæringer og revisionsrapporter udstedt af revisionsinstansen. Den passende ekspertise kan f.eks. dokumenteres ved hjælp af praktiske erfaringer med vurdering og styring af risici samt ved akademisk aktivitet, videnskabelige publikationer og erfaring med relevante revisioner. Revisionsrapporter bør indeholde al relevant dokumentation for, at revisionsinstansen opfylder de nødvendige betingelser.
(11)
I henhold til artikel 37, stk. 2, i forordning (EU) 2022/2065 skal udbyderen, der er underlagt revision, yde det nødvendige samarbejde og den nødvendige bistand til, at revisionsinstansen kan foretage revisionen effektivt og rettidigt, og vedkommende skal samtidig afholde sig fra på nogen måde at blande sig i revisionsinstansens uafhængige afgørelser. Udbyderen, der er underlagt revision, bør f.eks. ikke pålægge, vejlede eller på anden måde påvirke revisionsinstansen gennem nogen form for kontraktlige eller andre begrænsninger eller incitamenter i forbindelse med revisionsinstansens valg og håndtering af revisionsprocedurer, metoder, indsamling og behandling af oplysninger og revisionsbevis, analyser, test, revisionserklæring eller udarbejdelse af revisionskonklusioner.
(12)
For at sikre det nødvendige samarbejde og den nødvendige bistand under revisionen bør udbyderen, der er underlagt revision, sikre, at revisionsinstansen får adgang til alle de oplysninger, der er nødvendige for gennemførelsen af revisionen. Udbyderen, der er underlagt revision, bør hurtigst muligt og under alle omstændigheder inden revisionsinstansen begynder at gennemføre revisionsprocedurer, fremsende alle de nødvendige dokumenter og begrundelser. I henhold til artikel 41, stk. 3, litra d) og e), i forordning (EU) 2022/2065 skal compliancefunktionen hos udbyderen, der er underlagt revision, f.eks. overvåge opfyldelsen af alle forpligtelser og tilsagn, som er underlagt revision, hvilket bør medføre udarbejdelse af interne kontroller. Revisionsinstansen bør derfor gives adgang til alle oplysninger vedrørende sådanne kontroller og alle andre oplysninger vedrørende den overholdelsesstrategi, der anvendes af udbyderen, der er underlagt revision. Den udbyder, der er underlagt revision, bør navnlig stille de benchmarks til rådighed for revisionsorganisationen, som vedkommende benytter til at sikre overholdelsen af forordning (EU) 2022/2065, således at revisionsorganisationen kan basere revisionskriterierne på disse oplysninger. Desuden bør revisionsorganisationen gives adgang til enhver analyse, som den udbyder, der er underlagt revision, måtte have foretaget af iboende risici og kontrolrisici. Udbyderen bør stille oplysninger til rådighed for revisionsorganisationen, hvor disse oplysninger letter forståelsen af den tjeneste, der er underlagt revision, dens ledelse, de respektive arbejdsgruppers kompetencer, dens beslutningsstrukturer, herunder dens compliancefunktion, samt præsentationer af dens IT-systemer, data- og registreringsstrukturer og samspillet mellem forskellige algoritmiske systemer af relevans for revisionen.
(13)
Revisionsinstansen bør til enhver tid i forbindelse med gennemførelsen af revisionen kunne anmode om andre nødvendige oplysninger. Adgang til disse oplysninger bør gives uden unødig forsinkelse på en måde, der på ingen måde hindrer gennemførelsen af revisionen. Dette bør omfatte adgang til data, herunder personoplysninger, der er indsamlet fra forskellige kilder, såsom dokumentation, algoritmiske systemer, databaser eller interviews, alt efter hvad der er relevant. Udbyderen, der er underlagt revision, bør også give revisionsinstansen adgang til procedurer og processer, IT-systemer såsom algoritmiske systemer og informationssystemer, herunder testmiljøer. For at gøre det muligt for revisionsinstansen at kontrollere sådanne systemer på en formålstjenlig måde bør udbyderen, der er underlagt revision, stille alle nødvendige ressourcer til rådighed for at bistå instansen med at få adgang til og vurdere systemerne, f.eks. ved at stille udbyderens kompetente personale til rådighed med henblik på at besvare spørgsmål eller drive testmiljøer og redegøre for deres funktion eller lette enhver anden nødvendig adgang til personale og lokaler såsom bygninger. Adgang til procedurer og processer kan f.eks. indebære adgang til beskrivelser eller dokumentation vedrørende den interne beslutningsproces hos udbyderen, der er underlagt revision. Adgang til relevante oplysninger kan også kræve andre supplerende foranstaltninger fra udbyderen, der er underlagt revision, for at denne opfylder sin forpligtelse til samarbejde og bistand. F.eks. kan interviews med personale kræve, at udbyderen, der er underlagt revision, stiller sikre faciliteter til rådighed. Hvor det er nødvendigt for udførelsen af revisionen, bør de udbydere, der er underlagt revision, opfylde forpligtelsen til samarbejde og bistand over for revisionsorganisationen, bl.a. ved at lette adgangen til relevante data vedrørende deres aktiviteter, der opbevares hos deres tredjepartskontrahenter. Dette kan f.eks. være tilfældet med hensyn til resultater af indholdsmoderation, undervisningsmateriale eller vejledning anvendt af indholdsmodererende tredjepartskontrahenter eller udbydere og tjenesteudbydere af IT-løsninger, herunder f.eks. algoritmer og applikationer, som anvendes i de anbefalingssystemer eller reklamesystemer, der anvendes af den udbyder, der er underlagt revision.
(14)
For at fremme formålstjenlig gennemsigtighed i revisionsresultaterne og indføre et sammenhængende og sammenligneligt format for de revisionsrapporter, der er omhandlet i artikel 37, stk. 4, i forordning (EU) 2022/2065, og de revisionsrapporter om gennemførelsen af revisioner, der er omhandlet i artikel 37, stk. 6, i nævnte forordning, bør der ved nærværende forordning fastlægges skabeloner for disse rapporter og stilles krav om en række bilag for hver af rapporterne. Selv om skabelonerne i denne forordning kræver omfattende rapportering, bør de ikke påvirke kravene om offentliggørelse af rapporter, jf. artikel 42, stk. 4 og 5, i forordning (EU) 2022/2065.
(15)
For at sikre at revisionsinstansen ydes den nødvendige bistand af udbyderen, der er underlagt revision, uden indblanding i gennemførelsen af revisionen, og at revisionsinstansen opfylder alle betingelser for udarbejdelsen af revisionen og afleverer revisionsrapporten rettidigt og med den kvalitet, der er nødvendig for at opnå et rimeligt niveau af revisionssikkerhed, bør visse regler præcisere procedurerne for udarbejdelsen af revisionen. De opgaver og det ansvar, der påhviler udbyderen, som er underlagt revision, og revisionsinstansen, herunder alle underleverandører eller partnerorganisationer og det personale, der er ansvarligt for at foretage revisionen, bør fastlægges i en skriftlig aftale, herunder gennem kontraktbestemmelser. I den skriftlige aftale bør de forpligtelser og tilsagn, der er underlagt revision, fordelingen af ressourcer og reglerne for interaktion og kontaktpunkter mellem revisionsinstansen og udbyderen, der er underlagt revision, også præciseres. Al dokumentation og alle kontrakter skal vedlægges revisionsrapporten, også når dokumentationen tager form af en revisionstilsagnsskrivelse eller andre kontraktbestemmelser.
(16)
For at give et samlet overblik og lette ansvarligheden for udbydere, der er underlagt revision, bør revisionsrapporten indeholde en konklusion på revisionsinstansens vurdering af, om udbyderen, der er underlagt revision, opfylder hver enkelt forpligtelse eller tilsagn, der er underlagt revision. Hver revisionskonklusion bør være baseret på et rimeligt niveau af revisionssikkerhed og bør være enten »positiv«, »positiv med bemærkninger« eller »negativ«, for på passende vis at kunne danne grundlag for revisionserklæringen. Konklusioner, der er »positive med bemærkninger«, bør ikke vedrøre selve vurderingen af overholdelsen. Sådanne bemærkninger kan f.eks. vedrøre udbyderens fremlæggelse af oplysninger efter anmodning fra revisionsinstansen eller forbedringer af den vedligeholdelse eller kontrol, som udbyderen, der er underlagt revision, har indført, eller vedrøre yderligere afbødende foranstaltninger eller forbedringer, som den pågældende udbyder agter at indføre. Hvis revisionsinstansen under alle omstændigheder vurderer, at den udbyder, der er underlagt revision, opfylder en forpligtelse eller et tilsagn, der er underlagt revision, i henhold til de benchmarks, som den nævnte leverandør har indberettet, men finder det nødvendigt at fremsætte bemærkninger til disse benchmarks, bør revisionskonklusionen være »positiv med bemærkninger«, da sådanne bemærkninger med fordel kan gøre udbyderen opmærksom på muligheder for potentielle ændringer af sine benchmarks på grundlag af revisionsinstansens viden og ekspertise samt oplysninger fra eksterne kilder. Bemærkningerne kan f.eks. baseres på vejledning fra Kommissionen, herunder Kommissionens retningslinjer, jf. artikel 35, stk. 3, i forordning (EU) 2022/2065, og andre relevante retningslinjer udstedt af Kommissionen med hensyn til anvendelsen af nævnte forordning, rapporter fra Det Europæiske Råd for Digitale Tjenester, jf. artikel 35, stk. 2, i nævnte forordning, håndhævelsesforanstaltninger, afgørelser truffet af Kommissionen i henhold til nævnte forordning, relevant retspraksis, navnlig fra Den Europæiske Unions Domstol, offentlige høringer eller relevante autoritative kilder.
(17)
For at muliggøre offentlig kontrol og myndighedstilsyn, hvis en revisionskonklusion er »negativ«, men kun gælder i en begrænset periode, og revisionsinstansen vurderer, at udbyderen, der er underlagt revision, har opfyldt forpligtelsen eller tilsagnet i resten af den periode, revisionen omfatter, bør dette afspejles i revisionsrapporten for hver af de pågældende forpligtelser eller tilsagn. Rapporten bør indeholde revisionsinstansens bemærkninger til alle oplysninger, som den udbyder, der er underlagt revision, har stillet til rådighed for dem, for så vidt angår eksisterende eller planlagte afbødningsplaner for at afhjælpe den manglende overholdelse.
(18)
I lyset af de forskellige retlige forpligtelser, der er fastsat i kapitel III i forordning (EU) 2022/2065, og de frivillige tilsagn, der er afgivet gennem adfærdskodekser og kriseprotokoller i henhold til artikel 45, 46 og 48 i nævnte forordning, bør revisionsinstansen afgive revisionserklæringer om overholdelsen af nævnte kapitel og af hver kodeks og protokol.
(19)
For at gennemføre revisionen med et rimeligt niveau af revisionssikkerhed og udforme passende revisionshandlinger i overensstemmelse med metoder, der bringer revisionsrisikoen ned på et lavt niveau, bør en central del af metoden til gennemførelse af revisionen være et skøn over revisionsrisiciene, nemlig risikoen for, at revisionsinstansen afgiver en revisionserklæring eller -konklusion, som er uhensigtsmæssig. Revisionsinstansen bør derfor vurdere revisionsrisikoen allerede i begyndelsen af revisionen, inden udformningen af den præcise metode og gennemførelsen af revisionsprocedurer. Revisionsrisikoanalysen er nødvendig for at give revisionsinstansen mulighed for at vælge de præcise revisionsmetoder og fastslå, hvor omfattende revisionsprocedurerne skal være for at opnå et rimeligt niveau af revisionssikkerhed for revisionserklæringen. Revisionsinstansen bør foretage revisionsrisikoanalysen til vurdering af opfyldelsen af hver enkelt forpligtelse eller tilsagn, der er underlagt revision, under hensyntagen til iboende risici, kontrolrisici og opdagelsesrisici.
(20)
For at kunne vurdere revisionsrisiciene korrekt bør der i revisionsrisikoanalysen tages hensyn til arten af den tjeneste, der er underlagt revision, især dens risikoprofil, samt revisionens omfang og kompleksitet. Det er f.eks. sandsynligt, at onlineplatforme, der giver forbrugere mulighed for at indgå aftaler om fjernsalg, vil have andre iboende risici end videodelingsplatforme eller søgemaskiner. Desuden bør den samfundsmæssige og økonomiske kontekst, hvori tjenesten, der er underlagt revision, ydes, tages i betragtning, f.eks. med hensyn til typiske brugergrupper såsom mindreårige eller hyppig adfærd såsom høj forekomst af ikkeautentisk brug og koordineret adfærd i forbindelse med desinformationskampagner. Den samfundsmæssige og økonomiske kontekst, der skal tages i betragtning, bør også omfatte sandsynligheden for af eksponering for krisesituationer og uventede begivenheder som fastsat i forordning (EU) 2022/2065; alvoren af denne eksponering bør også medtages som et uafhængigt element.
(21)
For at sikre at revisionsrisikoanalysen afspejler udviklingen i de risici, som tjenesten er underlagt, bør revisionsrisikoanalysen, hvis det er relevant, også baseres på oplysninger fra tidligere revisioner, som udbyderen, der er underlagt revision, var underlagt, og på oplysninger fra kilder såsom andre revisionsrapporter vedrørende andre udbydere med en lignende risikoprofil. For at sikre at revisionsrisikoanalysen er fuldt ud baseret på det nyeste inden for dokumentation af risici under omstændigheder, der svarer til dem, som udbyderen, der er underlagt revision, opererer under, samt på autoritative kilder af direkte relevans for anvendelsen af forordning (EU) 2022/2065, bør analysen også baseres på oplysninger fra rapporter fra Det Europæiske Råd for Digitale Tjenester eller retningslinjer fra Kommissionen, hvis det er relevant. Andre oplysninger kan også omfatte oplysninger fra revisionsrapporter, der er offentliggjort i henhold til artikel 42, stk. 4, i forordning (EU) 2022/2065 af andre udbydere af meget store onlineplatforme eller af meget store onlinesøgemaskiner.
(22)
Revisionsinstansen bør, uden påvirkninger fra udbyderen, der er underlagt revision, udarbejde de revisionsmetoder, som anvendes til at vurdere opfyldelsen af de forpligtelser og tilsagn, der er underlagt revision. Revisionskriterierne bør være baseret på oplysninger, som udbyderen, der er underlagt revision, har indgivet med hensyn til de benchmarks, som udbyderen, der er underlagt revision, anvender til at overvåge overholdelsen. Der kan i metoderne også tages hensyn til andre oplysninger, der stilles til rådighed af den udbyder, der er underlagt revision, såsom analysen af iboende risici, når udbyderen, der er underlagt revision, har foretaget en sådan analyse, f.eks. gennem foranstaltninger udviklet af compliancerådgiveren eller ledelsesorganet i overensstemmelse med artikel 41 i forordning (EU) 2022/2065, eller andre foranstaltninger indeholdt i tjenestens virkemåde med henblik på vurderinger af de systemiske risici som fastsat i artikel 34 i nævnte forordning.
(23)
For at sikre at revisionsmetoderne er egnede til at opnå et rimeligt niveau af revisionssikkerhed for revisionserklæringerne, bør der ved valg af metode til gennemførelse af revisionsprocedurerne tages hensyn til de særlige forhold, der gør sig gældende for den forpligtelse eller det tilsagn, der er underlagt revision, og metoderne bør f.eks. tilpasses karakteren af den forpligtelse, der er underlagt revision, som en forpligtelse med hensyn til midler eller resultater, som udbyderen skal opfylde for at overholde kravene. Revisionsprocedurer til vurdering af opfyldelsen af rapporteringsforpligtelser vedrørende gennemsigtighed i henhold til artikel 15 i forordning (EU) 2022/2065 kan f.eks. give revisionsinstansen mulighed for at konkludere, om rapporterne blev offentliggjort inden for de frister og i de formater, der kræves i nævnte forordning, samt om de data, der er rapporteret, var nøjagtige, repræsentative og korrekt opdelt f.eks. efter kategori af ulovligt indhold, som der er skredet til værks over for.
(24)
Valget af metode bør også afhænge af, om vurderingen af overholdelse kræver kontekstuelle fortolkninger fra revisionsinstansens side. Valget af metoder bør også tilpasses de iboende risici, der er forbundet med de aktiviteter, der udføres i forbindelse med ydelsen af tjenesten, og den sammenhæng, hvori tjenesten ydes, f.eks. om tjenesten omfatter salg af varer, der kan være ulovlige, eller om tjenesten primært anvendes af mindreårige. Metoderne til vurdering af opfyldelsen af forpligtelserne til at indføre passende og forholdsmæssige foranstaltninger til at sikre et højt niveau af privatlivets fred, tryghed og sikkerhed for mindreårige i henhold til artikel 28, stk. 1, i forordning (EU) 2022/2065 bør f.eks. give revisionsinstansen mulighed for at få tilstrækkelig forståelse af, hvordan tjenesten, der er underlagt revision, anvendes af mindreårige, af de mulige risici for deres privatliv, tryghed og sikkerhed samt af det, der udgør en passende og forholdsmæssig foranstaltning i forbindelse med tjenesten, der er underlagt revision, og mindreåriges brug heraf. Med henblik herpå bør revisionsinstanserne opdele vurderingen i passende trin. De bør vurdere revisionsrisiciene i henhold til risikoprofilen for den udbyder, der er underlagt revision, navnlig om den kan tilgås eller hovedsagelig anvendes af mindreårige. De bør f.eks. vurdere, om udbyderen har indført værktøjer til alderskontrol, om disse er effektive, og hvordan den udbyder, der er underlagt revision, vurderer og overvåger deres effektivitet. De bør vurdere, om den udbyder, der er underlagt revision, har indført passende foranstaltninger til at opdage ondsindet brug af deres tjenester og adfærdsmønstre, der søger at skade eller sandsynligvis vil skade mindreårige.
(25)
Metodevalget bør tilpasses til de kontrolrisici, der er forbundet med de overholdelsesforanstaltninger, som udbyderen, der er underlagt revision, har indført, samt til opdagelsesrisiciene, navnlig risikoen for ikke at opdage ukorrekte angivelser i de oplysninger, som udbyderen stiller til rådighed for revisionsinstansen. Hvis en forpligtelse, der er underlagt revision, f.eks. omfatter revision af et algoritmisk system baseret på personalisering til de enkelte tjenestemodtagere af tjenesten, der er underlagt revision, og på tilbagevendende ajourføringer af det algoritmiske system, såsom oplysningsforpligtelserne for anbefalingssystemer i henhold til artikel 27 i forordning (EU) 2022/2065, bør valget af metode give revisionsinstansen mulighed for at udforme passende test for at minimere opdagelsesrisikoen. Hvor revisionsinstansen søger at vurdere, om alle relevante risici er blevet afbødet i forbindelse med udformningen, funktionen og anvendelsen af applikationer baseret på store sprogmodeller (»large language models« — LLM'er) såsom chatfunktioner eller anbefalingssystemer, der anvendes af den udbyder, der er underlagt revision, bør revisionsinstansen ligeledes først vurdere hensigtsmæssigheden af de kontroller, som udbyderen har indført. Valget af test bør være baseret på robustheden af disse interne kontroller. Navnlig, men ikke udelukkende i de tilfælde, hvor de interne kontroller er svage, ufuldstændige eller ufyldestgørende med hensyn til at vurdere, om reglerne overholdes, når populationen af modtagere af tjenesten, der er underlagt revision, tages i betragtning, bør revisionsprocedurerne baseres på en kombination af metoder. Metoderne kan f.eks. indeholde omfattende analytiske procedurer såsom en analyse af interaktionerne mellem alle de algoritmiske systemer, der er involveret i anbefalingssystemerne, og de deraf følgende regler for beslutningstagning og processer til fastlæggelse af de vigtigste parametre for disse anbefalingssystemer, bemærkninger til digitale registreringer og logfiler. Metoderne bør også omfatte test af systemet, f.eks. test i simulerede miljøer.
(26)
For at sikre at metoden er relevant og tilpasset nye resultater under gennemførelsen af revisionen, bør valget af metoder være baseret på revisionsinstansens faglige skøn og tilpasses for at tage højde for disse nye resultater, navnlig når revisionsinstansen nærer begrundet tvivl med hensyn til de oplysninger, som udbyderen, der er underlagt revision, har indgivet. Revisionsinstansens faglige skepsis bør baseres på dens ekspertise samt på andre informationskilder af særlig relevans for anvendelsen af forordning (EU) 2022/2065, såsom rapporter fra Det Europæiske Råd for Digitale Tjenester, vejledning fra Kommissionen, revisionsrapporter fra adfærdskodekser eller kriseprotokoller som fastsat i nævnte forordnings artikel 45, 46 og 48 eller oplysninger, der fremkommer under gennemførelsen af revisionen, herunder når de vedrører begivenheder, navnlig krisesituationer, der kræver yderligere foranstaltninger fra udbyderen, der er underlagt revision, for at sikre opfyldelse af visse forpligtelser eller tilsagn, der er underlagt revision.
(27)
For at sikre, at der indsamles tilstrækkeligt revisionsbevis under revisionen, bør revisionsinstanserne både vurdere den interne kontrol hos udbyderen, der er underlagt revision, og gennemføre omfattende revisionsprocedurer til vurdering af, om vedkommende overholder reglerne. I visse tilfælde bør revisionsinstansen også foretage test.
(28)
I betragtning af kompleksiteten af de algoritmiske systemer, der anvendes af udbydere af onlineplatforme, og deres vigtige rolle med hensyn til at opfylde flere forpligtelser som fastsat i forordning (EU) 2022/2065, bør der lægges særlig vægt på de nødvendige og passende valg af metoder til revision af algoritmiske systemer. Dette gør sig både gældende, når algoritmiske systemer indgår i den kontrol, der er indført af udbyderen, der er underlagt revision, og når de selv er genstand for forpligtelser eller tilsagn, der er underlagt revision, såsom med hensyn til anbefalingssystemer, f.eks. i henhold til artikel 27, 34, 35 og 38 i forordning (EU) 2022/2065, eller reklamesystemer, f.eks. i henhold til artikel 26, 28, 34, 35 og 39 i nævnte forordning, indholdsmoderationssystemer, f.eks. i henhold til artikel 14, 15, 34 og 35 i nævnte forordning, eller ethvert andet algoritmisk system, der bidrager til de risici, der er fastsat i nævnte forordnings artikel 34.
(29)
Der bør også anvendes en kombination af omfattende analytiske procedurer, herunder, hvis det er relevant, baseret på bemærkninger til processer og aktiviteter, udbyderen, der er underlagt revision, gennemfører i forbindelse med udformning, udvikling, drift, afprøvning og overvågning af algoritmiske systemer eller bemærkninger til digitale registreringer og logfiler, der genereres af systemerne. Metoderne bør tilpasses de særlige forhold, der gør sig gældende for algoritmiske systemer, herunder deres forvaltning, interaktionen mellem forskellige algoritmiske systemer samt de dertil hørende datastyringssystemer, og de teknologier, der ligger til grund for disse algoritmiske systemer, såsom generative modeller eller andre klassifikatorer samt udvælgelses- eller søgealgoritmer.
(30)
Endvidere bør revisionsmetoder for algoritmiske systemer omfatte test til f.eks. at indsamle oplysninger, som udbyderen, der er underlagt revision, ikke tidligere har dokumenteret, eller test til at reproducere og vurdere resultaterne af nøjagtighedsindikatorer, test i datasandkasser eller simulerede miljøer eller test i produktionssystemer, herunder gennem data scraping eller test af sikkerhed mod ondsindet brug.
(31)
Da revisionsbevisets høje kvalitet er en nødvendig betingelse for, at revisionsinstansen kan afgive en revisionserklæring med et rimeligt niveau af revisionssikkerhed, bør de oplysninger, som revisionsinstansen beslutter at anvende som revisionsbevis, være relevante og tilstrækkelige til at begrænse revisionsrisiciene. Desuden bør revisionsbeviset være pålideligt efter revisionsinstansens professionelle dømmekraft og skepsis og, hvor det er hensigtsmæssigt, i lyset af alternative informationskilder. Professionel dømmekraft og skepsis bør omfatte en kritisk vurdering af revisionsbeviset og eventuelle ukorrekte angivelser. Disse kvalitetsstandarder bør gælde for alle revisionsbeviser, uanset om de er blevet fremlagt af udbyderen, der er underlagt revision, eller indsamlet fra andre kilder.
(32)
Revisionsinstansen bør overveje en række informationskilder, som f.eks. kan omfatte interviews med personale eller kontrahenter hos udbyderen, der er underlagt revision, herunder compliancerådgivere, ingeniører, dataforskere, softwarearkitekter eller medlemmer af interne revisionshold. De kan også omfatte teknisk dokumentation om udformning, gennemførelse, afprøvning og overvågning af et relevant system, herunder om datakvalitet og -styring og om ajourføringer og versioner af systemet, samt anden dokumentation vedrørende ledelsesordninger og beslutningsprocesser hos udbyderen, der er underlagt revision, herunder med hensyn til prioriteter, ressourcer, fordeling af opgaver og ansvarsområder eller ekspertise hos det relevante personale.
(33)
For at sikre effektivitet og proportionalitet i gennemførelsen af revisionen bør revisionsinstansen have mulighed for at udtage stikprøver af data og oplysninger under behørig hensyntagen til at nå frem til en repræsentativ stikprøve, således at revisionsinstansen kan fremlægge en revisionserklæring med et rimeligt niveau af revisionssikkerhed. For at sikre revisionsprocedurernes gennemsigtighed og reproducerbarhed bør revisionsinstansen begrunde valget af stikprøvestørrelse og stikprøvemetode i revisionsrapporten. F.eks. bør stikprøvestørrelsen og -metoden vælges under hensyntagen til, hvad der er effektivt med hensyn til at opfylde formålet med at gennemføre revision af den specifikke forpligtelse eller det specifikke tilsagn, der er underlagt revisionen, og for at minimere risikoen for, at konklusionen af revisionen af den specifikke stikprøve er forskellig fra, hvad konklusionen ville være, hvis hele bevispopulationen blev underlagt revisionsproceduren. Stikprøvestørrelsen og -metoden bør udvælges under hensyntagen til revisionens fulde omfang samt interne eller eksterne ændringer af tjenesten, der er underlagt revision, i denne periode. Stikprøven bør også tilpasses de særlige forhold ved algoritmiske systemer, herunder med hensyn til tilpasning gennem profilering. Som led i denne betragtning bør revisionsinstansen f.eks. på passende vis udtage stikprøver fra de forskellige kohorter eller opdelinger, der ville kunne opstå som følge af tilpassede teknikker, eller identificere fejlmargenen og begrunde, hvorfor den ligger på et acceptabelt niveau.
(34)
Da visse bestemmelser i forordning (EU) 2022/2065 er nye, er det nødvendigt at fastsætte metodologiske principper, herunder revisionsspørgsmål, og yderligere retningslinjer for valg af revisionsmetoder og revisionsbevis til vurdering af overholdelsen af disse bestemmelser, nemlig for vurdering af overholdelsen af artikel 34, 35 og 36 i forordning (EU) 2022/2065 om gennemførelse af risikovurderinger og vedtagelse af risikobegrænsende foranstaltninger fra udbydere, der er underlagt revision, og om anvendelsen af forpligtelser med hensyn til kriserespons.
(35)
Eftersom revisionsinstanserne også bør vurdere, om udbyderen, der er underlagt revision, overholder artikel 37 i forordning (EU) 2022/2065, bør der også udstikkes yderligere specifikationer for den præcise revision, i henhold til hvilke overholdelsen bør vurderes, navnlig for at undgå interessekonflikter for revisionsinstansen.
(36)
I betragtning af den frivillige karakter af adfærdskodekser og kriseprotokoller er det nødvendigt at fastsætte specifikke regler for revision af overholdelse af artikel 45, 46 og 48 i forordning (EU) 2022/2065, navnlig for at sikre, at revisionsinstanserne råder over alle de oplysninger, der er nødvendige for at gennemføre revisioner, der specifikt vedrører forpligtelserne i henhold til hver adfærdskodeks og kriseprotokol.
VEDTAGET FØLGENDE FORORDNING:
AFDELING I
Almindelige bestemmelser
Artikel 1
Genstand
Denne forordning fastsætter regler for gennemførelsen af revisioner i henhold til artikel 37 i forordning (EU) 2022/2065 for så vidt angår:
a)
de proceduremæssige skridt med henblik på at sikre, at den valgte revisionsinstans opfylder betingelserne i artikel 37, stk. 3, i forordning (EU) 2022/2065
b)
de proceduremæssige skridt for at sikre, at udbyderen, der er underlagt revision, yder det nødvendige samarbejde og den nødvendige bistand i forbindelse med gennemførelsen af revisioner, herunder adgang til relevante oplysninger med henblik på at tilvejebringe revisionsbevis
c)
definitionen og valget af revisionsmetoder
d)
skabelonerne til revisionsrapporten og revisionsrapporten om gennemførelsen af revision.
Artikel 2
Definitioner
I denne forordning forstås ved:
1)
»revisionsinstans«: en individuel instans, et konsortium eller en anden sammensætning af instanser, herunder eventuelle underleverandører, med hvem udbyderen, der er underlagt revision, har indgået aftale om at gennemføre en uafhængig revision i overensstemmelse med artikel 37 i forordning (EU) 2022/2065
2)
»tjeneste, der er underlagt revision«: en meget stor onlineplatform eller en meget stor onlinesøgemaskine, som er udpeget i overensstemmelse med artikel 33 i forordning (EU) 2022/2065
3)
»udbyder, der er underlagt revision«: udbyderen af en tjeneste, der er underlagt uafhængige revisioner i henhold til artikel 37, stk. 1, i nævnte forordning
4)
»forpligtelse eller tilsagn, der er underlagt revision«: en forpligtelse eller et tilsagn som fastsat i artikel 37, stk. 1, i forordning (EU) 2022/2065, som er genstand for revisionen
5)
»revisionskriterier«: de kriterier, som revisionsinstansen anvender til at vurdere opfyldelsen af de enkelte forpligtelser eller tilsagn, der er underlagt revision
6)
»revisionsbevis«: alle oplysninger, som revisionsinstansen anvender til at understøtte revisionsresultaterne og -konklusionerne og til at afgive en revisionserklæring, herunder data indsamlet fra dokumenter, databaser eller IT-systemer samt gennemførte interviews eller test
7)
»ukorrekte angivelser«: en forsætlig eller utilsigtet udeladelse, opgivelse af forkerte oplysninger eller fejl i de erklæringer eller data, der rapporteres eller afgives af udbyderen, der er underlagt revision, til revisionsinstansen, eller i det testmiljø, som udbyderen, der er underlagt revision, har stillet til rådighed for revisionsinstansen
8)
»revisionsrisiko«: risikoen for, at revisionsinstansen afgiver en forkert revisionserklæring eller drager en forkert konklusion i vurderingen af, hvorvidt udbyderen, der er underlagt revision, opfylder en forpligtelse eller et tilsagn, der er underlagt revision, under hensyntagen til opdagelsesrisici, iboende risici og kontrolrisici med hensyn til forpligtelsen eller tilsagnet, der er underlagt revision
9)
»opdagelsesrisiko«: risikoen for, at revisionsinstansen ikke opdager en ukorrekt angivelse, der er relevant for vurderingen af, om udbyderen, der er underlagt revision, opfylder en forpligtelse eller et tilsagn, der er underlagt revision
10)
»iboende risiko«: risikoen for manglende overholdelse, der er uløseligt forbundet med arten, udformningen, aktiviteten og anvendelsen af tjenesten, der er underlagt revision, samt den sammenhæng, hvori den anvendes, og risikoen for manglende overholdelse i forbindelse med arten af forpligtelsen eller tilsagnet, der er underlagt revision
11)
»kontrolrisiko«: risikoen for, at en ukorrekt angivelse ikke forhindres, opdages og korrigeres rettidigt ved hjælp af den interne kontrol hos udbyderen, der er underlagt revision
12)
»væsentlighedstærskel«: den tærskel, over hvilken afvigelser eller ukorrekte angivelser fra udbyderen, der er underlagt revision, enkeltvis eller samlet, med rimelighed kan påvirke revisionsresultaterne, -konklusionerne og -erklæringerne
13)
»rimeligt niveau af revisionssikkerhed«: et højt, men ikke absolut niveau af revisionssikkerhed, som gør det muligt for revisionsinstansen i sin revisionserklæring og sine revisionskonklusioner at fastslå, om den udbyder, der er underlagt revision, opfylder forpligtelserne eller tilsagnene, der er underlagt revision, på grundlag af tilstrækkelig og passende dokumentation
14)
»intern kontrol«: alle foranstaltninger, herunder processer og test, der udformes, gennemføres og vedligeholdes af udbyderen, der er underlagt revision, herunder dennes compliancerådgivere og ledelsesorgan, med henblik på at overvåge og sikre, at udbyderen, der er underlagt revision, har opfyldt forpligtelsen eller tilsagnet, der er underlagt revision
15)
»kontrolunderlagt forsker«: en forsker underlagt kontrol i henhold til artikel 40, stk. 8, i forordning (EU) 2022/2065
16)
»revisionsprocedure«: enhver teknik, som revisionsinstansen anvender i forbindelse med gennemførelsen af revisionen, herunder dataindsamling, valg og anvendelse af metoder såsom test og omfattende analytiske procedurer og enhver anden foranstaltning, der træffes for at indsamle og analysere oplysninger med henblik på at indsamle revisionsbevis og udarbejde revisionskonklusioner bortset fra afgivelse af en revisionserklæring eller af revisionsrapporten
17)
»test«: en revisionsmetode, der består af målinger, forsøg eller andre kontroller, herunder kontrol af algoritmiske systemer, hvorigennem revisionsinstansen vurderer, om udbyderen, der er underlagt revision, opfylder forpligtelsen eller tilsagnet, der er underlagt revision
18)
»omfattende analytisk procedure«: en revisionsmetode, som revisionsinstansen anvender til at vurdere oplysninger med henblik på at udlede revisionsrisici eller opfyldelse af forpligtelsen eller tilsagnet, der er underlagt revision.
Artikel 3
Revisionens omfang og et rimeligt niveau af revisionssikkerhed
1.   Revisionen skal udføres på en måde og med en varighed, der gør det muligt for revisionsinstansen at vurdere, om udbyderen, der er underlagt revision, har opfyldt alle forpligtelser og tilsagn, der er underlagt revision, med et rimeligt niveau af revisionssikkerhed.
2.   Revisionen skal omfatte den periode, der begynder umiddelbart efter den periode, der er omfattet af den foregående revision, og slutter på en dato, der gør det muligt for revisionsinstansen at udføre revisionen inden for den tidsramme, der er fastsat i artikel 37, stk. 1, i forordning (EU) 2022/2065, herunder ved at gøre sin vurdering gældende i henhold til stk. 1 på grundlag af den indsamlede dokumentation og de revisionsprocedurer, der er gennemført i denne periode, og ved at udfylde og indsende revisionsrapporten i henhold til artikel 37, stk. 4, i nævnte forordning til den udbyder, der er underlagt revision.
3.   Hvis der ikke tidligere er udført revision, skal revisionen omfatte den periode, der begynder fire måneder efter den meddelelse, der er omhandlet i artikel 33, stk. 6, første afsnit, i forordning (EU) 2022/2065, og varigheden af revisionen skal gøre det muligt at færdiggøre revisionsrapporten i henhold til artikel 6, stk. 1, senest et år fra begyndelsen af revisionsperioden.
AFDELING II
Betingelser for gennemførelsen af revisionen
Artikel 4
Valg af revisionsinstans
1.   Forud for valg af en revisionsinstans med henblik på gennemførelse af revisionen skal udbyderen, der er underlagt revision, kontrollere, om den valgte instans opfylder kravene i artikel 37, stk. 3, i forordning (EU) 2022/2065.
2.   Hvis den valgte revisionsinstans består af mere end én juridisk person eller har til hensigt at gøre brug af en eller flere underleverandører, skal udbyderen, der er underlagt revision, kontrollere, hvorvidt alle disse juridiske personer eller underleverandører:
a)
hver især opfylder kravene i artikel 37, stk. 3, litra a) og c), i forordning (EU) 2022/2065
b)
samlet opfylder kravet i artikel 37, stk. 3, litra b), i forordning (EU) 2022/2065.
Artikel 5
Samarbejde og bistand mellem udbyderen, der er underlagt revision, og revisionsinstansen
1.   På et tidspunkt, der aftales med revisionsinstansen, og under alle omstændigheder forud for gennemførelsen af en eventuel revisionsprocedure, skal udbyderen, der er underlagt revision, som minimum fremsende følgende oplysninger til den valgte revisionsinstans:
a)
en beskrivelse af de interne kontroller, der er indført for hver forpligtelse og hvert tilsagn, der er underlagt revision, herunder relaterede indikatorer og alle nuværende og historiske målinger heraf, og benchmarks, som udbyderen, der er underlagt revision, har anvendt til at sikre eller overvåge opfyldelsen af de forpligtelser og tilsagn, som er underlagt revision, samt eventuel dokumentation
b)
sin foreløbige analyse af iboende risici og kontrolrisici, hvis udbyderen, der er underlagt revision, har foretaget en sådan analyse, og eventuel dokumentation
c)
oplysninger om relevante beslutningsstrukturer, kompetencer hos udbyderens forskellige afdelinger, herunder compliancefunktionen i henhold til artikel 41 i forordning (EU) 2022/2065, relevante IT-systemer, datakilder, behandling og lagring samt forklaringer af relevante algoritmiske systemer og deres interaktioner.
2.   Udbyderen, der er underlagt revision, skal uden unødig forsinkelse give revisionsinstansen adgang til alle de data, der er nødvendige for gennemførelsen af revisionen, herunder personoplysninger, dokumentation, oplysninger om procedurer og processer, samt til IT-systemer, testmiljøer, personale og lokaler hos den pågældende udbyder og eventuelle relevante underleverandører.
3.   Udbyderen, der er underlagt revision, skal stille alle nødvendige ressourcer til rådighed og yde revisionsinstansen den bistand og de forklaringer, der er nødvendige for, at revisionsinstansen kan analysere de relevante oplysninger og udføre test, herunder hvis de oplysninger, som revisionsorganisationen anmoder om i henhold til artikel 37, stk. 3, i forordning (EU) 2022/2065, opbevares af en tredjepart, som udbyderen, der er underlagt revision, har indgået kontrakt med.
AFDELING III
Gennemførelse af revisioner
Artikel 6
Revisionsrapport og revisionsrapport om gennemførelsen af revision
1.   Den i artikel 37, stk. 4, i forordning (EU) 2022/2065 omhandlede revisionsrapport udarbejdes af revisionsinstansen uden indblanding fra udbyderen, der er underlagt revision. Denne revisionsrapport udarbejdes i overensstemmelse med skabelonen i bilag I og skal indeholde detaljerede og underbyggede konklusioner vedrørende alle elementerne i skabelonen.
2.   Hvis det er relevant, udarbejdes den revisionsrapport om gennemførelsen af revision, der er omhandlet i artikel 37, stk. 6, i forordning (EU) 2022/2065, i overensstemmelse med skabelonen i bilag II.
Artikel 7
Procedurer for udarbejdelse af revisionen
1.   Udbyderen, der er underlagt revision, og revisionsinstansen skal indgå en skriftlig aftale, hvoraf følgende fremgår:
a)
den udtømmende liste over de forpligtelser og tilsagn, der er underlagt revision
b)
revisionsinstansens ansvarsområder, herunder, hvis det er relevant, detaljerede oplysninger om den enkelte juridiske person, der udgør revisionsinstansen, og de parter, der er tillagt beføjelse til at underskrive revisionsrapporten
c)
de procedurer og kontaktpunkter, som udbyderen, der er underlagt revision, stiller til rådighed for revisionsinstansen med henblik på at anmode om adgang til de i artikel 5, stk. 2, omhandlede data
d)
tidsrammen for revisionen, herunder start- og slutdatoen for revisionsprocedurerne og færdiggørelsen af revisionsrapporten
e)
en procedure for bilæggelse af tvister mellem udbyderen, der er underlagt revision, og revisionsinstansen som følge af gennemførelsen af revisionen.
2.   Den i stk. 1 omhandlede aftale samt eventuelle andre aftaler eller forpligtelser mellem revisionsinstansen og udbyderen, der er underlagt revision, vedrørende gennemførelsen af revisionen vedlægges som bilag til revisionsrapporten.
3.   Hvis der under gennemførelsen af revisionen foretages ændringer i den i stk. 1 omhandlede aftale, skal der eksplicit redegøres for disse ændringer i revisionsrapporten.
Artikel 8
Revisionserklæring, -konklusioner og -anbefalinger
1.   Revisionsrapporten skal indeholde de revisionskonklusioner, som revisionsinstansen har draget med hensyn til, om udbyderen, der er underlagt revision, opfylder de enkelte forpligtelser og tilsagn, der er underlagt revision. Revisionskonklusionerne er enten:
a)
»positive«, hvis revisionsinstansen med et rimeligt niveau af revisionssikkerhed konkluderer, at udbyderen, der er underlagt revision, har opfyldt en forpligtelse eller et tilsagn, der er underlagt revision
b)
»positive med bemærkninger«, hvis revisionsinstansen med et rimeligt niveau af revisionssikkerhed konkluderer, at udbyderen, der er underlagt revision, har opfyldt en forpligtelse eller et tilsagn, der er underlagt revision, men:
i)
revisionsinstansen fremsætter bemærkninger om de benchmarks, der er blevet fremsendt af udbyderen i henhold til artikel 5, stk. 1, litra a), eller
ii)
revisionsinstansen anbefaler forbedringer, der ikke har nogen væsentlig indvirkning på dens konklusion.
c)
»negative«, hvis revisionsinstansen med et rimeligt niveau af revisionssikkerhed konkluderer, at udbyderen, der er underlagt revision, ikke har opfyldt en forpligtelse eller et tilsagn, der er underlagt revision.
2.   Hvis en revisionsrapport indeholder operationelle anbefalinger i henhold til artikel 37, stk. 4, litra h), i forordning (EU) 2022/2065 skal disse anbefalinger og deres anbefalede tidsramme specifikt gælde for hver enkelt forpligtelse eller tilsagn, der er underlagt revision, for hvilken revisionskonklusionen i henhold til stk. 1 er »positiv med bemærkninger« eller »negativ«.
3.   Hvis de i stk. 2 omhandlede operationelle anbefalinger omfatter specifikke foranstaltninger til at opnå overholdelse, skal de udformes på en sådan måde, at der redegøres for revisionsinstansens vurdering af, hvordan sådanne foranstaltninger vil påvirke væsentlighedstærsklen i forhold til revisionskonklusionen for den pågældende forpligtelse eller tilsagn, der er underlagt revision.
4.   På grundlag af revisionskonklusionerne skal revisionsrapporten indeholde en revisionserklæring om, at udbyderen, der er underlagt revision, opfylder alle de i artikel 37, stk. 1, litra a), i forordning (EU) 2022/2065 omhandlede forpligtelser, der er underlagt revision.
5.   På grundlag af konklusionerne vedrørende alle forpligtelserne, der er underlagt revision, skal revisionsrapporten indeholde en eller flere revisionserklæringer, alt efter hvad der er relevant, om, at udbyderen, der er underlagt revision, opfylder alle de i artikel 37, stk. 1, litra b), i forordning (EU) 2022/2065, omhandlede tilsagn, der er underlagt revision, som er afgivet af udbyderen, der er underlagt revision, i henhold til hver adfærdskodeks og kriseprotokol.
6.   Revisionserklæringer i henhold til stk. 4 og 5 er enten:
a)
»positive«, hvis revisionsinstansen er nået frem til en »positiv« revisionskonklusion for alle forpligtelser eller tilsagn, der er underlagt revision
b)
»positive med bemærkninger«, hvis revisionsinstansen har draget mindst én revisionskonklusion, som er »positiv med bemærkninger« vedrørende en forpligtelse eller et tilsagn, der er underlagt revision, og ikke har draget en »negativ« revisionskonklusion vedrørende nogen af de forpligtelser eller tilsagn, der er underlagt revision
c)
»negative«, hvis revisionsinstansen har draget en »negativ« revisionskonklusion vedrørende mindst én forpligtelse eller ét tilsagn, der er underlagt revision.
7.   Hvis revisionsinstansen vurderer, at udbyderen i en begrænset periode i løbet af den i artikel 3, stk. 2, omhandlede periode ikke har opfyldt en forpligtelse eller et tilsagn, der er underlagt revision, skal den vurdering behørigt dokumenteres i revisionsrapporten.
8.   Hvis revisionsinstansen ikke med et rimeligt niveau af revisionssikkerhed kan afgive en revisionskonklusion i henhold til stk. 1 eller en revisionserklæring i henhold til stk. 4 og 5, skal revisionsrapporten indeholde en redegørelse for omstændighederne og årsagerne til, at et sådant niveau af revisionssikkerhed ikke kunne opnås.
AFDELING IV
Revisionsmetoder
Artikel 9
Revisionsrisikoanalyse
1.   Revisionsrapporten skal indeholde en underbygget revisionsrisikoanalyse foretaget af revisionsinstansen med henblik på vurdering af, om udbyderen, der er underlagt revision, opfylder hver enkelt forpligtelse eller tilsagn, der er underlagt revision.
2.   Revisionsrisikoanalysen foretages forud for gennemførelsen af revisionsprocedurer og ajourføres i løbet af gennemførelsen af revisionen i lyset af eventuelle nye revisionsbeviser, som efter revisionsinstansens faglige skøn ændrer vurderingen af revisionsrisikoen væsentligt.
3.   I revisionsrisikoanalysen skal der tages hensyn til:
a)
iboende risici
b)
kontrolrisici
c)
opdagelsesrisici.
4.   Revisionsrisikoanalysen gennemføres under hensyntagen til:
a)
arten af tjenesten, der er underlagt revision, og den samfundsmæssige og økonomiske kontekst, i hvilken tjenesten, der er underlagt revision, ydes, herunder sandsynligheden for og alvoren af eksponering for krisesituationer og uventede begivenheder
b)
arten af forpligtelserne og tilsagnene
c)
andre relevante oplysninger, herunder:
i)
hvis det er relevant, oplysninger fra tidligere revisioner, som tjenesten, der er underlagt revision, har været underkastet
ii)
hvis det er relevant, oplysninger fra rapporter udstedt af Det Europæiske Råd for Digitale Tjenester eller retningslinjer udstedt af Kommissionen, herunder retningslinjer udstedt i henhold til artikel 35, stk. 2 og 3, i forordning (EU) 2022/2065, og anden eventuelt relevant vejledning udstedt af Kommissionen med hensyn til anvendelsen af forordning (EU) 2022/2065
iii)
hvis det er relevant, oplysninger fra revisionsrapporter offentliggjort i henhold til artikel 42, stk. 4, i forordning (EU) 2022/2065 af andre udbydere af meget store onlineplatforme eller af meget store onlinesøgemaskiner, der drives på tilsvarende betingelser eller yder lignende tjenester til tjenesten, der er underlagt revision.
Artikel 10
Passende revisionsmetoder
1.   Uden at det berører de specifikke revisionsmetoder, der er fastsat i artikel 13, 14 og 15, gennemføres revisioner ved hjælp af passende revisionsmetoder for at begrænse de vurderede revisionsrisici til et niveau, der gør det muligt for revisionsinstansen at drage revisionskonklusioner med et rimeligt niveau af revisionssikkerhed.
2.   Revisionsrapporten skal indeholde en beskrivelse af de revisionsmetoder, der er udformet af revisionsinstansen forud for gennemførelsen af eventuelle revisionsprocedurer, herunder som minimum:
a)
de revisionskriterier, der er defineret på grundlag af information i henhold til artikel 5, stk. 1, litra a), til vurdering af, om de enkelte forpligtelser eller tilsagn, der er underlagt revision, er opfyldt, samt væsentlighedstærsklen, der accepteres og udtrykkes kvalitativt eller kvantitativt, alt efter hvad der er relevant
b)
alle test og omfattende analytiske procedurer samt revisionsbeviser, som revisionsinstansen har til hensigt at anvende med henblik på at vurdere, om de enkelte forpligtelser eller tilsagn, der er underlagt revision, er opfyldt.
Revisionsrapporten skal indeholde en beskrivelse af eventuelle ændringer af de metoder, der anvendes under gennemførelsen af revisionen, i forhold til de metoder, der er udformet forud for gennemførelsen af revisionsprocedurer.
3.   Hvis en revisionsinstans nærer begrundet tvivl om de oplysninger, der er vurderet i forbindelse med gennemførelsen af revisionen, navnlig for så vidt angår de oplysninger, som udbyderen, der er underlagt revision, har fremlagt, tilpasses valget og anvendelsen af metoden, så den pågældende instans får det nødvendige revisionsbevis i overensstemmelse med artikel 11.
4.   Den i stk. 3 omhandlede begrundede tvivl anses navnlig for at opstå ved forekomsten af et eller flere af følgende elementer:
a)
professionel dømmekraft og skepsis i forbindelse med vurderingen af oplysninger, herunder oplysninger vedrørende den interne kontrol hos den udbyder, der er underlagt revision, som får revisionsinstansen til at give udtryk for rimelig tvivl
b)
ydre tegn, der peger i retning af revisionsrisici, navnlig rapporter fra Det Europæiske Råd for Digitale Tjenester, jf. artikel 35, stk. 2, i forordning (EU) 2022/2065, vejledning fra Kommissionen, herunder retningslinjer, jf. artikel 35, stk. 3, i nævnte forordning, og anden relevant vejledning udstedt af Kommissionen med hensyn til anvendelsen af forordning (EU) 2022/2065 og revisionsrapporter udstedt i henhold til adfærdskodekser eller kriseprotokoller som omhandlet i nævnte forordnings artikel 45, 46 og 48
c)
oplysninger om begivenheder, der indtræffer under gennemførelsen af revisionen, herunder krisesituationer, der kræver yderligere foranstaltninger fra udbyderen, der er underlagt revision, for at sikre opfyldelse af visse forpligtelser eller tilsagn, der er underlagt revision.
5.   Revisionsprocedurerne skal som minimum omfatte:
a)
gennemførelse af test og omfattende analytiske procedurer vedrørende de interne kontroller, som udbyderen, der er underlagt revision, har indført for de enkelte forpligtelser eller tilsagn, der er underlagt revision
b)
gennemførelse af omfattende analytiske procedurer til vurdering af, om de enkelte forpligtelser og tilsagn, der er underlagt revision, er opfyldt, herunder med hensyn til algoritmiske systemer
c)
gennemførelse af test, herunder med hensyn til algoritmiske systemer vedrørende de forpligtelser og tilsagn, der er underlagt revision, og hvor revisionsinstansen nærer begrundet tvivl, jf. stk. 4, og vedrørende de forpligtelser og tilsagn, der er underlagt revision, hvor revisionsinstansen finder det nødvendigt at foretage test i forbindelse med sit valg af metode i henhold til stk. 1.
6.   Hvor de forpligtelser eller tilsagn, der er omhandlet i artikel 37, stk. 1, i forordning (EU) 2022/2065, kræver, at den udbyder, der er underlagt revision, rapporterer visse oplysninger offentligt, skal revisionsmetoderne omfatte en vurdering af, om de rapporterede oplysninger er fri for væsentlige fejl eller udeladelser, som ellers kunne gøre dem vildledende.
Artikel 11
Kvaliteten af revisionsbeviset
Revisionskonklusionerne og revisionserklæringerne baseres på revisionsbevis, der opfylder begge følgende krav:
a)
det er relevant og tilstrækkeligt til at begrænse de revisionsrisici, der er identificeret i overensstemmelse med artikel 9, og til at give revisionsinstansen mulighed for at drage revisionskonklusioner og fremlægge revisionserklæringer i overensstemmelse med artikel 8
b)
det er pålideligt i henhold til revisionsinstansens faglige skøn og skepsis.
Artikel 12
Stikprøvemetoder
1.   Hvis revisionsbeviset helt eller delvist er baseret på en stikprøve af data eller oplysninger, vælges stikprøvestørrelsen og -metoden med henblik på at minimere opdagelsesrisikoen og uden indblanding fra udbyderen, der er underlagt revision.
2.   Stikprøvestørrelsen og -metoden vælges på en sådan måde, at det sikres, at dataene eller oplysningerne er repræsentative, og i givet fald under hensyntagen til følgende:
a)
at stikprøven er repræsentativ i den i artikel 3, stk. 2 og 3, omhandlede periode
b)
relevante ændringer af tjenesten, der er underlagt revision, i den pågældende periode
c)
relevante ændringer i den sammenhæng, hvori den tjeneste, der er underlagt revision, ydes i den pågældende periode
d)
relevante karakteristika ved algoritmiske systemer, hvis det er relevant, herunder individualisering baseret på profilering eller andre kriterier
e)
andre relevante karakteristika eller opdelinger af de data, oplysninger og beviser, der er under vurdering
f)
repræsentation og passende analyse af bekymringer vedrørende særlige grupper, hvor det er relevant, såsom mindreårige eller sårbare grupper og minoriteter, i forbindelse med den forpligtelse eller det tilsagn, det er underlagt revision.
3.   Revisionsrapporten skal indeholde en begrundelse for valget af stikprøvestørrelse og -metode.
Artikel 13
Særlige revisionsmetoder vedrørende overholdelse af artikel 34 i forordning (EU) 2022/2065 om risikovurdering
1.   Vurderingen af, om udbyderen, der er underlagt revision, overholder artikel 34 i forordning (EU) 2022/2065 bør omfatte, men ikke være begrænset til, en analyse af følgende:
a)
om udbyderen, der er underlagt revision, omhyggeligt har identificeret, analyseret og vurderet de systemiske risici i Unionen som fastsat i artikel 34, stk. 1, første afsnit, i forordning (EU) 2022/2065, herunder ved at vurdere:
i)
hvordan udbyderen, der er underlagt revision, har identificeret de risici, som er forbundet med dennes tjeneste, under hensyntagen til regionale og sproglige aspekter af brugen af dennes tjeneste, herunder når de er specifikke for en medlemsstat, og om risiciene er behørigt identificeret
ii)
hvordan udbyderen, der er underlagt revision, har analyseret og vurderet hver enkelt risiko, herunder hvordan der er taget hensyn til sandsynligheden for og alvoren af risiciene, og om vurderingen var passende
iii)
hvordan udbyderen, der er underlagt revision, har identificeret, analyseret og vurderet de faktorer, der er omhandlet i artikel 34, stk. 2, første afsnit, i forordning (EU) 2022/2065, om de var behørigt identificeret, og i hvilket omfang sådanne faktorer påvirker de risici, der er identificeret i stk. 1 i nævnte artikel
iv)
hvilke informationskilder udbyderen, der er underlagt revision, har anvendt, hvordan denne har indsamlet oplysningerne, herunder om og hvordan den har baseret sig på videnskabelig og teknisk viden
v)
hvorvidt og hvordan udbyderen, der er underlagt revision, har afprøvet sine antagelser om risici med de grupper, der er mest påvirket af de specifikke risici.
b)
om risikovurderingen blev foretaget inden for de frister, der er fastsat i artikel 34, stk. 1, andet afsnit, i forordning (EU) 2022/2065, og, hvis det er relevant, inden for de frister, der er fastsat for aktiviteter, der er fastsat som risikobegrænsende foranstaltninger til opdagelse af systemiske risici i henhold til artikel 35, stk. 1, litra f), i nævnte forordning
c)
hvordan udbyderen, der er underlagt revision, har identificeret funktionaliteter, som sandsynligvis vil have en kritisk indvirkning på de risici, der skal risikovurderes forud for deres indførelse i henhold til artikel 34, stk. 1, andet afsnit, i forordning (EU) 2022/2065, om disse funktionaliteter er korrekt identificeret, og om risikovurderingen er foretaget korrekt
d)
om udbyderen, der er underlagt revision, har identificeret dokumentationen, der bør opbevares vedrørende risikovurderingen, om vedkommende har anvendt de nødvendige midler til at sikre, at dokumentationen opbevares i mindst tre år, jf. artikel 34, stk. 3, i forordning (EU) 2022/2065, og om dokumentationen er opbevaret i overensstemmelse hermed.
2.   Uden at det berører andre analyser, der er nødvendige for at opnå et rimeligt niveau af revisionssikkerhed, skal revisionsmetoderne vedrørende overholdelse af artikel 34 i forordning (EU) 2022/2065 som minimum omfatte en vurdering fra revisionsinstansens side af følgende elementer:
a)
de interne kontroller, som udbyderen, der er underlagt revision, har indført for at overvåge gennemførelsen af risikovurderinger for hver faktor som fastsat i artikel 34, stk. 2, første afsnit, i forordning (EU) 2022/2065; en sådan vurdering skal:
i)
være baseret på omfattende analytiske procedurer for disse interne kontroller
ii)
være baseret på test af, om disse interne kontroller er pålidelige og udformet, udført og overvåget omhyggeligt
iii)
evaluere, hvordan compliancerådgiveren eller compliancerådgiverne udførte deres opgaver i henhold til artikel 41, stk. 3, litra b), d), e) og, hvor det er relevant, f), i forordning (EU) 2022/2065, og hvordan ledelsesorganet hos udbyderen, der er underlagt revision, har deltaget i beslutningerne vedrørende risikostyring i henhold til artikel 41, stk. 6 og 7, i nævnte forordning
b)
de tiltag, midler og processer, som udbyderen, der er underlagt revision, har indført for at sikre overholdelse af artikel 34 i forordning (EU) 2022/2065 og resultaterne heraf. En sådan vurdering skal baseres på:
i)
omfattende analytiske procedurer
ii)
afprøvninger, herunder af algoritmiske systemer, hvis revisionsinstansen nærer begrundet tvivl efter resultaterne af de omfattende analytiske procedurer og vurderingen af den interne kontrol, eller hvis revisionsinstansen finder det nødvendigt for at foretage afprøvninger i forbindelse med sit valg af metode i henhold til artikel 10, stk. 1.
3.   Oplysninger, der analyseres af revisionsinstansen til støtte for den vurdering, der foretages i henhold til denne artikel, bør omfatte, men ikke være begrænset til:
a)
risikovurderingsrapporten for den periode, som revisionen omfatter, og som er udarbejdet af udbyderen, der er underlagt revision, herunder om nødvendigt fortrolige oplysninger, der ikke indgår i de oplysninger, der offentliggøres i henhold til artikel 42, stk. 2, i nævnte forordning, og alle støttedokumenter
b)
hvis det er relevant, andre risikovurderingsrapporter fra udbyderen, der er underlagt revision, og tilhørende dokumentation
c)
oplysninger indgivet af udbyderen, der er underlagt revision, i henhold til artikel 5
d)
alle relevante gennemsigtighedsrapporter fra udbyderen, der er underlagt revision, jf. artikel 15, stk. 1, i forordning (EU) 2022/2065
e)
eventuelle andre testresultater, dokumenter, beviser, erklæringer fremsat som svar på skriftlige eller mundtlige forespørgsler fra revisionsinstansen til personalet hos udbyderen, der er underlagt revision, samt bemærkninger fremsat på stedet, hvis det er relevant
f)
anden relevant dokumentation, herunder på grundlag af oplysninger, som udbyderen, der er underlagt revision, har stillet til rådighed
g)
hvor det er muligt, rapporter som omhandlet i artikel 35, stk. 2, i forordning (EU) 2022/2065 og vejledning udstedt af Kommissionen, herunder retningslinjer udstedt i henhold til artikel 35, stk. 3, i nævnte forordning og anden relevant vejledning udstedt af Kommissionen med hensyn til anvendelsen af forordning (EU) 2022/2065.
4.   Oplysninger, der analyseres af revisionsinstansen, kan, hvis det er relevant, omfatte de oplysninger, der er omhandlet i artikel 42, stk. 4, i forordning (EU) 2022/2065, herunder oplysninger fra revisions-, risikovurderings- og risikobegrænsningsrapporter, vedrørende andre meget store onlineplatforme eller meget store onlinesøgemaskiner eller data og forskning, der er gjort offentligt tilgængeligt af kontrolunderlagte forskere i henhold til nævnte forordnings artikel 40, stk. 8, litra g).
Artikel 14
Særlige revisionsmetoder vedrørende overholdelse af artikel 35 i forordning (EU) 2022/2065 om afbødning af risici
1.   Vurderingen af, om udbyderen, der er underlagt revision, overholder artikel 35 i forordning (EU) 2022/2065 bør omfatte, men ikke være begrænset til, en analyse af følgende:
a)
hvordan udbyderen, der er underlagt revision, har identificeret risikobegrænsende foranstaltninger for hver af de systemiske risici, der nævnes i artikel 34, stk. 1, i forordning (EU) 2022/2065, og om sådanne risikobegrænsende foranstaltninger er blevet omhyggeligt identificeret
b)
hvordan udbyderen, der er underlagt revision, har vurderet, om de risikobegrænsende foranstaltninger i artikel 35, stk. 1, litra a)-k), i forordning (EU) 2022/2065 fandt anvendelse på tjenesten, der er underlagt revision, og om konklusionen af denne vurdering var hensigtsmæssig, herunder for så vidt angår de foranstaltninger, der ikke blev anvendt af udbyderen, der er underlagt revision
c)
om de afbødende foranstaltninger, som er indført af den udbyder, der er underlagt revision, er rimelige, forholdsmæssige og effektive med hensyn til at afbøde de respektive risici, herunder ved at
i)
vurdere, om de i fællesskab udgør en respons på samtlige risici, idet der navnlig tages hensyn til risici i forbindelse med udøvelsen af de grundlæggende rettigheder
ii)
vurdere og sammenligne, hvordan risiciene blev håndteret før og efter indførelsen af de specifikke risikobegrænsende foranstaltninger
iii)
vurdere, om de risikobegrænsende foranstaltninger var udformet og gennemført hensigtsmæssigt.
2.   Uden at det berører andre analyser, der er nødvendige for at opnå et rimeligt niveau af revisionssikkerhed, skal revisionsmetoderne vedrørende overholdelse af artikel 35 i forordning (EU) 2022/2065 som minimum omfatte en vurdering fra revisionsinstansens side af følgende elementer:
a)
de interne kontroller, som udbyderen, der er underlagt revision, har indført for at overvåge anvendelsen af risikobegrænsende foranstaltninger som fastsat i artikel 35, stk. 1, i forordning (EU) 2022/2065, og om de er rimelige, forholdsmæssige og effektive. En sådan vurdering skal:
i)
være baseret på omfattende analytiske procedurer for disse interne kontroller
ii)
være baseret på afprøvninger af, om disse interne kontroller er pålidelige og udformet, udført og overvåget omhyggeligt
iii)
evaluere, hvordan compliancerådgiveren eller compliancerådgiverne udførte deres opgaver i henhold til artikel 41, stk. 3, litra b), d), e) og, hvor det er relevant, f), i forordning (EU) 2022/2065, og hvordan ledelsesorganet hos udbyderen var involveret i henhold til artikel 41, stk. 6 og 7, i nævnte forordning
b)
afbødende foranstaltninger, som udbyderen, der er underlagt revision, har indført. En sådan vurdering skal baseres på:
i)
omfattende analytiske procedurer
ii)
afprøvninger, herunder af algoritmiske systemer, hvis revisionsinstansen nærer begrundet tvivl efter resultaterne af de omfattende analytiske procedurer og vurderingen af den interne kontrol, eller hvis revisionsinstansen finder det nødvendigt for at foretage afprøvninger i forbindelse med sit valg af metode i henhold til artikel 10, stk. 1.
3.   Oplysninger, der analyseres af revisionsinstansen til støtte for den vurdering, der foretages i henhold til denne artikel, bør omfatte, men ikke være begrænset til:
a)
rapporterne om risikovurdering og risikobegrænsning for den periode, revisionen omfatter, og som er udarbejdet af udbyderen, der er underlagt revision, herunder om nødvendigt fortrolige oplysninger, der ikke indgår i de oplysninger, der offentliggøres i henhold til artikel 42, stk. 2, i forordning (EU) 2022/2065, og alle støttedokumenter
b)
hvis det er relevant, andre rapporter om risikovurdering og risikobegrænsning fra udbyderen, der er underlagt revision, samt tilhørende støttedokumenter
c)
oplysninger indgivet af udbyderen, der er underlagt revision, i henhold til artikel 5
d)
alle relevante gennemsigtighedsrapporter fra udbyderen, der er underlagt revision, jf. artikel 15, stk. 1, i forordning (EU) 2022/2065
e)
hvis det er relevant, tidligere rapporter om risikobegrænsning og dokumentation, som vedrører perioder, der ikke er omfattet af den periode, revisionen omfatter, herunder om nødvendigt fortrolige oplysninger, der ikke indgår i de oplysninger, der offentliggøres i henhold til artikel 42, stk. 2, i forordning (EU) 2022/2065
f)
eventuelle andre testresultater, dokumenter, beviser, erklæringer fremsat som svar på skriftlige eller mundtlige forespørgsler fra revisionsinstansen til personalet hos udbyderen, der er underlagt revision, samt bemærkninger fremsat på stedet, hvis det er relevant
g)
anden relevant dokumentation, herunder på grundlag af oplysninger, som udbyderen, der er underlagt revision, har stillet til rådighed
h)
hvor det er muligt, rapporter som omhandlet i artikel 35, stk. 2, i forordning (EU) 2022/2065 og vejledning udstedt af Kommissionen, herunder retningslinjer udstedt i henhold til artikel 35, stk. 3, i nævnte forordning og anden relevant vejledning udstedt af Kommissionen med hensyn til anvendelsen af forordning (EU) 2022/2065.
4.   Oplysninger, der analyseres af revisionsinstansen, kan, hvis det er relevant, omfatte de oplysninger, der er omhandlet i artikel 42, stk. 4, i forordning (EU) 2022/2065, herunder oplysninger fra revisions-, risikovurderings- og risikobegrænsningsrapporter, vedrørende andre meget store onlineplatforme eller meget store onlinesøgemaskiner eller data og forskning, der er gjort offentligt tilgængeligt af kontrolunderlagte forskere i henhold til artikel 40, stk. 8, litra g), i forordning (EU) 2022/2065.
Artikel 15
Særlige revisionsmetoder vedrørende overholdelse af artikel 36 i forordning (EU) 2022/2065 om krisereaktionsmekanismen
1.   Vurderingen af, om udbyderen, der er underlagt revision, overholder artikel 36, stk. 1, første afsnit, litra a), i forordning (EU) 2022/2065 bør omfatte, men ikke være begrænset til, en analyse af, hvorvidt og hvordan udbyderen, der er underlagt revision, har gennemført de nødvendige foranstaltninger, navnlig:
a)
om og hvordan udbyderen, der er underlagt revision, har identificeret de relevante systemer, der er forbundet med virkemåden og brugen af deres tjenester, som væsentligt bidrager til den alvorlige trussel, og om disse systemer var behørigt identificeret
b)
om og hvordan udbyderen, der er underlagt revision, har defineret og overvåget det væsentlige bidrag til den alvorlige trussel, og om dennes vurdering var passende
c)
eventuelle andre krav, der er anført i Kommissionens afgørelse, jf. artikel 36, stk. 1, eller stk. 7, andet afsnit, i forordning (EU) 2022/2065, alt efter hvad der er relevant.
2.   Vurderingen af, om udbyderen, der er underlagt revision, overholder artikel 36, stk. 1, første afsnit, litra b), i forordning (EU) 2022/2065 bør omfatte, men ikke være begrænset til, en analyse af, hvorvidt og hvordan udbyderen, der er underlagt revision, har gennemført de nødvendige foranstaltninger, navnlig:
a)
om og hvordan udbyderen, der er underlagt revision, har identificeret foranstaltninger for at forebygge, eliminere eller begrænse ethvert bidrag til den alvorlige trussel
b)
om og hvordan de foranstaltninger, som er truffet af udbyderen, der er underlagt revision, har taget hensyn til, hvor alvorlig den alvorlige trussel er, hvor meget foranstaltningerne haster, og om foranstaltningerne var hensigtsmæssige i denne henseende
c)
om og hvordan udbyderen, der er underlagt revision, har identificeret de berørte parter i forbindelse med foranstaltningerne og deres legitime interesser, og hvordan udbyderen, der er underlagt revision, har vurderet foranstaltningernes faktiske eller potentielle indvirkning på disse parters rettigheder, herunder grundlæggende rettigheder, og legitime interesser
d)
om de foranstaltninger, der er truffet af udbyderen, der er underlagt revision, har været effektive og forholdsmæssige
e)
eventuelle andre krav, der er anført i Kommissionens afgørelse, jf. artikel 36, stk. 1, eller stk. 7, andet afsnit, i forordning (EU) 2022/2065, alt efter hvad der er relevant.
3.   Vurderingen af, om udbyderen, der er underlagt revision, overholder artikel 36, stk. 1, første afsnit, litra c), i forordning (EU) 2022/2065 bør omfatte, men ikke være begrænset til, en analyse af, hvordan udbyderen, der er underlagt revision, har gennemført den nødvendige foranstaltning, navnlig om udbyderen, der er underlagt revision, har givet Kommissionen de oplysninger, der kræves i Kommissionens afgørelse som fastsat i artikel 36, stk. 1 eller stk. 7, andet afsnit, i forordning (EU) 2022/2065, og om disse rapporter var nøjagtige.
Artikel 16
Revision vedrørende overholdelse af artikel 37 i forordning (EU) 2022/2065 om uafhængig revision
1.   Opfyldelsen af de forpligtelser, der er fastsat i artikel 37 i forordning (EU) 2022/2065 og i nærværende forordning, vurderes i forhold til den eller de revisioner, der er gennemført for året forud for den aktuelle revision.
2.   Ud over stk. 1 skal revisionen omfatte en vurdering af, om udbyderen, der er underlagt revision, overholder artikel 37, stk. 2, i forordning (EU) 2022/2065 med hensyn til den aktuelle revision.
3.   Hvis den eller de tidligere revisioner, der er omhandlet i stk. 1, er gennemført af den samme revisionsinstans som den aktuelle revision, eller hvis revisionsinstansen, der gennemfører den aktuelle revision, består af mindst én juridisk enhed, der har deltaget i den foregående revision, skal revisionsrapporten indeholde en redegørelse for de foranstaltninger, som revisionsinstansen har truffet for at sikre objektivitet i forbindelse med vurderingen.
Artikel 17
Revision vedrørende overholdelse af adfærdskodekser og kriseprotokoller
1.   Udbyderen, der er underlagt revision, skal stille følgende til rådighed for revisionsinstansen:
a)
en liste over og teksten til alle de i artikel 45 og 46 i forordning (EU) 2022/2065 omhandlede adfærdskodekser og de i artikel 48 i nævnte forordning omhandlede kriseprotokoller, og som er undertegnet af udbyderen, der er underlagt revision
b)
en detaljeret liste over tilsagn vedrørende de adfærdskodekser og kriseprotokoller, som er afgivet af udbyderen, der er underlagt revision
c)
hvis det er relevant, de centrale resultatindikatorer, der er aftalt i henhold til hver enkelt adfærdskodeks og kriseprotokol
d)
hvis det er relevant, eventuelle tilgængelige målinger, data og dokumentation og eventuelle rapporter, som udbyderen, der er underlagt revision, har udarbejdet med hensyn til, om udbyderen, der er underlagt revision, overholder de afgivne tilsagn, herunder adgang til alle relevante oplysninger og data vedrørende virkemåden af de tjenester, som ydes af udbyderen, der er underlagt revision, og som er relevante for gennemførelsen af adfærdskodeksen eller kriseprotokollen
e)
hvis det er relevant, andre målinger, data og dokumentation udarbejdet af underskriverne af adfærdskodeksen eller kriseprotokollen samt vurderingerne fra Kommissionen eller rådet som omhandlet i artikel 45, stk. 4, i forordning (EU) 2022/2065.
2.   Vurderingen af, om udbyderen, der er underlagt revision, overholder de adfærdskodekser, der er omhandlet i artikel 45 i forordning (EU) 2022/2065, bør omfatte, men ikke være begrænset til, målingen af centrale resultatindikatorer, der er aftalt i adfærdskodeksen i henhold til artikel 45, stk. 3, i nævnte forordning, med angivelse af væsentlighedstærsklen for revisionskonklusionerne, og hvorvidt de rapporterede data er nøjagtige.
AFDELING V
Afsluttende bestemmelser
Artikel 18
Ikrafttræden
Denne forordning træder i kraft på tyvendedagen efter offentliggørelsen i 
Den Europæiske Unions Tidende
.
Denne forordning er bindende i alle enkeltheder og gælder umiddelbart i enhver medlemsstat.
Udfærdiget i Bruxelles, den 20. oktober 2023.
På Kommissionens vegne
Ursula VON DER LEYEN
Formand
(
1
)
  
            
EUT L 277 af 27.10.2022, s. 1
.
BILAG I
SKABELON TIL REVISIONSRAPPORTEN, DER ER OMHANDLET I ARTIKEL 6
Indholdsfortegnelse
AFDELING B: Revisionsinstans(er)
Indsæt så mange linjer som nødvendigt pr. punkt for at udfylde afdelingen nedenfor.
1.
Navn(e) på instans(er), der udgør revisionsinstansen:
…
2.
Oplysninger om revisionsinstansens revisionshold:
Angiv for hvert medlem af revisionsholdet:
1.
personnavn
2.
den individuelle instans, den del af revisionsinstansen, de er tilknyttet
3.
deres arbejds-e-mailadresse
4.
beskrivelser af deres ansvarsområder og det arbejde, de har udført under revisionen.
…
3.
Revisorernes kvalifikationer:
…
a.
Oversigt over de faglige kvalifikationer hos de personer, der gennemførte revisionen, herunder ekspertiseområder og certificeringer, alt efter hvad der er relevant:
…
b.
Som bilag til denne rapport er vedlagt dokumentation for, at revisionsinstansen opfylder kravene i artikel 37, stk. 3, litra b), i forordning (EU) 2022/2065:
…
4.
Revisorernes uafhængighed:
a.
Interesseerklæring:
…
b.
Henvisninger til eventuelle standarder, der er relevante for revisionsholdets uafhængighed, og som revisionsinstansen(instanserne) overholder:
…
c.
Liste over dokumentation for, at revisionsinstansen opfylder de forpligtelser, der er fastsat i artikel 37, stk. 3, litra a) og c), i forordning (EU) 2022/2065, vedlagt som bilag til denne rapport.
…
5.
Henvisninger til eventuelle revisionsstandarder, der anvendes i forbindelse med revisionen, alt efter hvad der er relevant:
…
6.
Henvisninger til eventuelle kvalitetsstyringsstandarder, som revisionsinstansen følger, alt efter hvad der er relevant:
…
AFDELING F.1: Tredjeparter, der er blevet hørt
Denne afdeling gentages for hver tredjepart, der er blevet hørt, idet navnet på afdelingen øges med én (f.eks. F.1, F.2 osv.).
1.
Navn på tredjepart, der er blevet hørt:
…
2.
Repræsentant og kontaktoplysninger for tredjepart, der er blevet hørt:
…
3.
Dato(er) for høring:
…
4.
Input fra tredjepart
…
AFDELING G: Eventuelle andre oplysninger, som revisionsorganet ønsker at medtage i revisionsrapporten (såsom en beskrivelse af eventuelle iboende begrænsninger).
Medtag så mange linjer som nødvendigt i overensstemmelse med ansvarsfordelingen og styrkelse af indflydelsen som omhandlet i artikel 7, stk. 1, litra b)
Dato:
…
Underskrevet af:
…
Sted:
…
På vegne af:
…
Ansvarlig for:
…
Bilag til revisionsrapporten (hvis det er relevant):
Dokumentation, der er anmodet om i henhold til artikel 7, stk. 2, i denne forordning.
Dokumentation vedrørende revisionsrisikoanalysen i henhold til artikel 9 i denne forordning.
Dokumentation, der bekræfter, at revisionsinstansen opfylder de forpligtelser, der er fastsat i artikel 37, stk. 3, litra a), i forordning (EU) 2022/2065.
Dokumentation, der bekræfter, at revisionsinstansen opfylder de forpligtelser, der er fastsat i artikel 37, stk. 3, litra b), i forordning (EU) 2022/2065.
Dokumentation, der bekræfter, at revisionsinstansen opfylder de forpligtelser, der er fastsat i artikel 37, stk. 3, litra c), i forordning (EU) 2022/2065.
Dokumentation og resultater af eventuelle test, der er udført af revisionsinstansen, herunder for så vidt angår algoritmiske systemer hos udbyderen, der er underlagt revision.
De adfærdskodekser, der er omhandlet i artikel 45 og 46 i forordning (EU) 2022/2065, i henhold til hvilke udbyderen, der er underlagt revision, har afgivet tilsagn, herunder tydelig angivelse af eventuelle afgivne tilsagn og centrale resultatindikatorer, der er aftalt for det pågældende tilsagn.
De kriseprotokoller, der er omhandlet i artikel 48 i forordning (EU) 2022/2065, som er gennemført af udbyderen, der er underlagt revision.
Eventuelle andre bilag, som revisionsinstansen ønsker medtaget.
BILAG II
SKABELON FOR REVISIONSRAPPORTEN OM GENNEMFØRELSE AF REVISIONER, DER ER OMHANDLET I ARTIKEL 6
Indholdsfortegnelse
AFDELING A: Generelle oplysninger
1.
Udbyder, der er underlagt revision:
…
2.
Adresse på udbyderen, der er underlagt revision:
…
3.
Revisionsrapport, som denne rapport om gennemførelse af revisioner er baseret på
Dato for vedtagelse af revisionsrapporten: …
Henvisning til revisionsrapporten (f.eks. en URL):
…
4.
Oplysninger om den underliggende revision og de deltagende parter (jf. afdeling A og B i referencerevisionsrapporten):
…
5.
Henviser revisionsrapporten om gennemførelse af revision til en revisionsrapport om opfyldelse af alle forpligtelserne og tilsagnene i henhold til artikel 37, stk. 1, i forordning (EU) 2022/2065, som gælder for udbyderen, der er underlagt revision?
Ja/Nej 
(hvis »Nej«, angiv, hvilke forpligtelser og tilsagn der er omfattet af referencerevisionsrapporten)
…
6.
Hvis det er relevant, henvisninger til andre revisionsrapporter i forbindelse med revisioner i henhold til artikel 37 i forordning (EU) 2022/2065, som udbyderen er eller vil blive underlagt for så vidt angår den periode, som revisionen omfatter:
…
ELI: http://data.europa.eu/eli/reg_del/2024/436/oj
ISSN 1977-0634 (electronic edition)

Summary:
Forordningen om digitale tjenester — revision af meget store onlineplatforme og -søgemaskiner
RESUMÉ AF:
Delegeret forordning (EU) 2024/436 om supplerende regler til forordning (EU) 2022/2065 for så vidt angår fastsættelse af regler om gennemførelse af revision af meget store onlineplatforme og meget store onlinesøgemaskiner
HVAD ER FORMÅLET MED DEN DELEGEREDE FORORDNING?
Delegeret forordning (EU) 2024/436 supplerer 
forordningen om digitale tjenester
 (forordning (EU) 
2022/2065
, se 
resumé
) og fastsætter regler om gennemførelse af revision af meget store onlineplatforme og meget store onlinesøgemaskiner.
Disse revisioner fungerer som en kritisk mekanisme for at garantere, at udbyderne af sådanne platforme håndterer systemiske risici effektivt, især vedrørende ulovligt indhold, desinformation og systemiske risici for 
grundlæggende rettigheder
, den offentlige sikkerhed og demokratiet.
HOVEDPUNKTER
Uafhængige revisioner er et vigtigt værktøj for tilsynet med meget store onlineplatformes og meget store onlinesøgemaskiners overholdelse af reglerne i forordningen om digitale tjenester. I henhold til forordningen om digitale tjenester skal udbydere af meget store onlineplatforme og meget store onlinesøgemaskiner underlægges uafhængige revisioner for egen regning mindst én gang om året.
Meget store onlineplatforme og meget store onlinesøgemaskiner defineres som dem, der har mere end 45 millioner brugere i 
Den Europæiske Union
 (EU), baseret på det gennemsnitlige antal månedlige aktive modtagere af tjenesten. De skal underlægges regelmæssige revisioner for at sikre, at de lever op til deres ansvar i henhold til forordningen om digitale tjenester. 
Forordningen
 specificerer omfanget, procedurerne og metoderne for disse revisioner, som skal sikre, at resultaterne er konsekvente, gennemsigtige og sammenlignelige i branchen.
Revisionsprocessen
 omfatter adskillige faser, herunder 
udarbejdelsesfasen
, hvor revisionsplanen udarbejdes, 
rapporteringsfasen
, hvor revisoren fremlægger en detaljeret 
revisionsrapport
, og en 
gennemførelsesfase
, hvor den udbyder, der er underlagt revision, rapporterer om de skridt, den tager eller har taget i henhold til revisorens anbefalinger. Disse rapporter deles med 
Europa-Kommissionen
 og relevante tilsynsmyndigheder.
Revisionens omfang og valg af revisorer
Revisionen skal gennemføres for at 
evaluere udbyderens overholdelse af sine forpligtelser
, med et 
rimeligt niveau af revisionssikkerhed
.
Revisionerne skal gennemføres 
mindst én gang om året
.
Revisionerne skal 
dække perioden siden den forrige revision
 og afsluttes på en dato, der giver mulighed for rettidig gennemførelse af revisionen for at sikre, at der er mindst én revisionsrapport pr. år.
Hvis der ikke er nogen foregående revision, starter revisionsforpligtelsen fire måneder efter, at en tjeneste blev udpeget som en meget stor onlineplatform eller en meget stor onlinesøgemaskine, og en revision 
skal være gennemført senest ét år fra denne dato
.
Udbyderen skal vælge en revisionsinstans, som opfylder kravene i forordningen om digitale tjenester, især 
kravene om uafhængighed, ekspertise og etik
.
Hvis revisionsinstansen omfatter 
flere enheder eller underleverandører
, skal disse hver især opfylde de retlige krav og i fællesskab opfylde fælles krav.
Samarbejde
Inden revisionen skal udbyderen give revisoren relevante oplysninger om interne kontroller, risikoanalyse og IT-systemer.
Udbyderen skal give 
fuld adgang
 til data, personale og systemer i forbindelse med revisionen.
Udbyderen skal bistå revisionsinstansen i 
analyse og test
 af de leverede oplysninger.
Udbyderen og revisoren skal aftale 
revisionens omfang, ansvarsområder og tidslinje
 på skrift, og denne aftale skal vedlægges som bilag til revisionsrapporten.
Alle 
ændringer til aftalen
, der foretages under revisionen, skal noteres i rapporten.
Metoder
Den 
delegerede forordning
 beskriver omfattende 
revisionsprocedurer
, der skal sikre robuste og konsekvente vurderinger. Revisionsinstanserne skal overholde strenge krav om uafhængighed og dokumentere, at de ikke har nogen interessekonflikter. Revisionsinstanserne skal vurdere risikoen for, at de når til de forkerte konklusioner vedrørende revisionen, og minimere disse revisionsrisici, når de udarbejder deres revisionsmetoder. For visse bestemmelser i forordningen om digitale tjenester omfatter reglerne om 
revisionsmetoder
 og -procedurer specifikke krav, såsom de følgende.
Risikovurdering.
 Revisorerne skal vurdere platformens overholdelse af risikostyringsforpligtelser vedrørende systemiske risici såsom risikoen for udbredelse af ulovligt indhold.
Afbødning af risici.
 Revisorerne evaluerer, hvordan udbyderne håndterer risici gennem effektive afbødningsforanstaltninger, som for eksempel kan være baseret på indholdsmoderation og gennemsigtighed af algoritmer.
Kriseberedskabsmekanismer.
 Revisorerne undersøger udbyderens evne til at reagere på kriser, som for eksempel stigninger i udbredelsen af desinformation under valg eller folkesundhedskriser.
Teksten specificerer desuden kravene til revisorernes uafhængighed, adgang til information, stikprøvetagningsmetoder og skabeloner til revisionsrapporten og revisionsrapporten om gennemførelse af revision.
Konklusioner og anbefalinger
Revisionsrapporten skal være 
detaljeret og indeholde begrundelser for fundene
 iht. en bestemt skabelon.
Forordningen indeholder skabeloner til revisionsrapporter, hvilket sikrer, at alle platforme og revisorer følger et 
konsekvent rapporteringsformat
, så det er nemmere at sammenligne resultaterne på tværs af forskellige revisorer og instanser.
Revisionsinstansen skal afgive 
overordnede revisionserklæringer om overholdelse
 af forpligtelserne i henhold til forordningen om digitale tjenester samt eventuelle frivillige tilsagn, der er afgivet gennem adfærdskodekser eller kriseprotokoller.
Revisionskonklusionerne vedrørende overholdelse af de enkelte forpligtelser eller tilsagn, der er underlagt revision, kategoriseres som:
positive
: forpligtelserne eller tilsagnene er opfyldt
positive med bemærkninger
: forpligtelserne eller tilsagnene er opfyldt, men med bemærkninger eller forslag til forbedringer
negative
: forpligtelserne eller tilsagnene er ikke opfyldt, med råd om, hvordan der kan forbedres.
Anbefalingerne skal nævne specifikke problemer, der er identificeret under revisionen, og forklare deres betydning.
Tre måneder efter afslutning af revisionen skal udbyderne af meget store onlineplatforme og meget store onlinesøgemaskiner offentliggøre revisionsrapporten, hvilket bidrager til øget 
gennemsigtighed
. Kommissionen og andre tilsynsmyndigheder tager hensyn til revisionsresultaterne, når de fører tilsyn med overholdelsen af forordningen om digitale tjenester.
HVORNÅR GÆLDER DEN DELEGEREDE FORORDNING FRA?
Forordningen trådte i kraft den 
22. februar 2024
.
BAGGRUND
For yderligere oplysninger henvises til:
Europas digitale fremtid i støbeskeen
 (Europa-Kommissionen).
HOVEDDOKUMENT
Kommissionens delegerede forordning (EU) 
2024/436
 af 
20. oktober 2023
 om supplerende regler til Europa-Parlamentets og Rådets forordning (EU) 2022/2065 for så vidt angår fastsættelse af regler om gennemførelse af revision af meget store onlineplatforme og meget store onlinesøgemaskiner (EUT L, 2024/436, 
2.2.2024
).
Efterfølgende ændringer til forordning (EU) 2024/436 er blevet indarbejdet i grundteksten. Denne 
konsoliderede udgave
 har ingen retsvirkning.
TILHØRENDE DOKUMENTER
Europa-Parlamentets og Rådets forordning (EU) 
2022/2065
 af 
19. oktober 2022
 om et indre marked for digitale tjenester og om ændring af direktiv 2000/31/EF (lov om digitale tjenester) (EUT L 277 af 
27.10.2022
, 
s. 1
).
seneste ajourføring 
4.2.2025