[en] To meet the food demands of an increasing world population, farmers are required to optimize agriculture production by increasing crop productivity and sustainability. To do so, fruit detection and 3D location systems are expected to be an essential tool in the agricultural management of fruit orchards, with applications in fruit prediction, yield mapping, and automated harvesting. Despite the latest advances in robotics and computer vision, the development of a reliable system for 3D fruit location remains a pending issue to deal with problems such as the identification of occluded fruits and the variable lighting conditions of agricultural environments. The present thesis aims to contribute to the development of new methodologies for fruit detection and location by combining optical sensors and artificial intelligence algorithms. In order to minimize variable lighting effects, it is proposed the use of active sensors that work in the infrared light spectrum. In particular, light detection and ranging sensors (LiDAR) and depth cameras (RGB-D) based on the time-of-flight principle were evaluated. These sensors provide the amount of backscattered infrared light reflected by the measured objects. With respect to minimizing the number of fruit occlusions, two different approaches were tested: (1) the application of forced air flow; and (2) the use of multi-view scanning techniques, such as structure-from-motion (SfM) photogrammetry. The results have demonstrated the usefulness of the backscattered intensity provided by LiDAR and RGB-D sensors for fruit detection. This supposes an advance in the state-of-the-art, since this feature has not previously been exploited. Both of the strategies tested to minimize fruit occlusions showed an increase in the fruit detection rate. Of all the tested methodologies, the combination of instance segmentation neural networks and SfM photogrammetry gave the best results, reporting detection rates higher than 90% and false positive rates under 4%.

[es] Para satisfacer las necesidades alimentarias de una población mundial creciente, es necesario optimizar la producción agrícola, incrementando la productividad y la sostenibilidad de las explotaciones. Para conseguirlo, se prevé que los sistemas automáticos de detección y localización de frutos serán una herramienta esencial en la gestión de las plantaciones frutícolas, con aplicaciones directas a la predicción de cosecha, al mapeado de la producción y a la recolección automatizada. A pesar de los avances conseguidos en ámbitos como la robótica o la visión artificial, la localización 3D de frutos continua siendo un reto que debe de hacer frente a problemas como la identificación de frutos ocluidos por otros órganos vegetativos, o la posibilidad de trabajar en distintas condiciones de iluminación. La presente tesis pretende contribuir en el desarrollo de nuevas metodologías de detección y localizacion de frutos mediante la combinación de sensores de base fotónica y de algoritmos de visión artificial. A fin de minimizar los efectos producidos por unas condiciones de iluminación variable, se propone el uso de sensores activos que trabajan en espectros de luz infrarroja. En concreto, se han testeado sensores LiDAR (light detection and ranging) y cámaras de profundidad (RGB-D) basadas en el principio de tiempo de vuelo (time-of-flight), los cuales proporcionan valores de intensidad de la luz reflejada por los objetos escaneados. Por otra parte, para minimizar el número de oclusiones se han estudiado dos estrategias: (1) la aplicación forzada de aire; (2) la utilización de técnicas de escaneo desde distintas perspectivas, tales como Structure-from-Motion (SfM). Los resultados obtenidos demuestran que los datos de intensidad proporcionados por los sensores LiDAR y RGB-D son de gran utilidad para la detección de frutos, lo que supone un avance en el estado del arte, ya que esta capacidad radiométrica no había estado estudiada anteriormente. Por otra parte, las dos estrategias testeadas para minimizar el número de oclusiones han demostrado incrementar el porcentaje de detección. De todas las metodologías estudiadas, la combinación de redes neuronales profundas con técnicas de SfM es la que presenta mejores resultados, con porcentajes de detección superiores al 90% y con menos de un 4% de falsos positivos.