[en] As in many other ecosystems, in the transportation of persons or goods, the three basics goals of the journey are security, safety, and low costs. Modernizing the manner of traveling has forced the trade-off between the three goals to be challenging to achieve. The value of human lives is essential, so the terms of security and safety should have major significance, but the automotive market still requires vehicles to be affordable. The development of new functionalities and the increase of connectivity in the vehicle provoke an increase of the attack vectors, which enable attackers to access the vehicle's internal networks, and in particular, the Controller Area Network (CAN), where the majority of safety measures are connected. For this reason, researchers analyze the threats of the automotive world, and design new countermeasures for them. To ensure that such countermeasures are efficient, safe, and secure, they need to be carefully tested and analyzed. To aid researchers towards this objective, in this thesis we develop a framework to benchmark Intrusion Detection Systems (IDS) for CAN. We propose eight different IDS designs from the state of the art to test attacks against. Alongside, we designed a tool capable of synthesizing the majority of CAN attacks in the state of the art, and two further evasion attacks, in order to study their capability of bypassing the IDSs. To propose a benchmark of the capability of the IDSs, we built and test them against crafted attacks, and we compare their performance results. Our results highlight multiple insights on the capability of CAN IDSs and attacks, such as the stronger detection capability of IDSs that are based on time sequences and the effectiveness of the evasion attacks against part of the IDSs.

[es] Como en muchos otros contextos, en el transporte de personas o mercancías, los tres objetivos básicos del sector son la seguridad, la protección y los bajos costes. La modernización de la forma de viajar ha obligado a que el compromiso entre los tres objetivos sea un desafío. El valor de las vidas humanas es esencial, por lo que los términos de seguridad y protección deberían tener una gran importancia, pero el mercado automovilístico aún requiere que los vehículos sean asequibles. El desarrollo de nuevas funcionalidades y el aumento de la conectividad en el vehículo provocan un aumento de los vectores de ataque, que permiten a los atacantes acceder a las redes internas del vehículo y, en particular, a la Controller Area Network (CAN), donde se encuentran conectadas la mayoría de las medidas de seguridad. Por esta razón, los investigadores analizan las amenazas del sector del automóvil y diseñan nuevas contramedidas para ellas. Para garantizar que tales contramedidas sean eficientes, seguras y protegidas, deben probarse y analizarse cuidadosamente. Para ayudar a los investigadores a alcanzar este objetivo, en esta tesis desarrollamos un marco para comparar los sistemas de detección de intrusiones (IDS) para CAN. Proponemos ocho diseños de IDS diferentes extraídos del estado del arte para probar los ataques. Paralelamente, diseñamos una herramienta capaz de sintetizar la mayoría de los ataques CAN del estado del arte, y dos ataques más de evasión, con el fin de estudiar su capacidad de eludir los IDS. Para desarrollar un marco de comparación de la capacidad de los IDS, construimos los IDS, los probamos contra ataques diseñados, y comparamos los resultados de su rendimiento. En nuestros resultados destacan múltiples conocimientos sobre la capacidad de los IDS CAN y los ataques, como la capacidad de detección más sólida de los IDS que se basan en secuencias de tiempo y la eficacia de los ataques de evasión contra una parte de los IDS.