Source: http://docplayer.es/5865191-Computacion-paralela-y-entornos-heterogeneos.html
Timestamp: 2018-06-18 12:07:21+00:00

Document:
Computación paralela y entornos heterogéneos - PDF
Download "Computación paralela y entornos heterogéneos"
Eugenia Camacho Sosa
1 Curso 2004/05 CIENCIAS Y TECNOLOGÍAS/23 I.S.B.N.: LUZ MARINA MORENO DE ANTONIO Computación paralela y entornos heterogéneos Director FRANCISCO ALMEIDA RODRÍGUEZ SOPORTES AUDIOVISUALES E INFORMÁTICOS Serie Tesis Doctorales
2 Agradecimientos Quiero expresar mi profundo agradecimiento a todos aquellos que de una forma u otra me han ayudado a realizar este trabajo a lo largo de los años. A Francisco Almeida Rodríguez, director de esta tesis, por su constante ayuda e interés, así como por la confianza depositada en todo mi trabajo. A Rumen Andonov (INRIA/IRISA, Rennes, Francia) y Vicent Poirriez (LAMIH/ROI, Valenciennes, Francia) por su colaboración en el desarrollo del último capítulo de esta tesis. A todos mis compañeros del Grupo de Paralelismo, del área de Lenguajes y Sistemas Informáticos y del Departamento de Estadística, Investigación Operativa y Computación por la ayuda y el apoyo facilitado en todo momento. A mis compañeros de la Torre de Química, con los que he compartido cafés, comidas y muchas, muchas horas de trabajo, por su apoyo constante y sus consejos, sobre todo en los malos momentos. Especialmente, a mi compañero de despacho, Roberto y a Isa S., Vicky, Isa D., Macu, Bea, Jesús, Andrés, Jordi, José Luis y Félix. Y, por supuesto, a mi familia, que ha estado conmigo siempre.
3 Prólogo Este trabajo se enmarca en el contexto de la computación en paralelo. Es un hecho conocido que el paralelismo constituye una alternativa real para reducir el tiempo de ejecución de las aplicaciones. Arquitecturas paralelas homogéneas con elementos de proceso de características similares están siendo usadas con éxito en distintos ámbitos de la ciencia y de la industria. De forma natural, la ampliación y la potenciación de un sistema homogéno con nuevos elementos, deriva en un sistema de naturaleza heterogénea en el que los nuevos componentes presentan características diferenciales con los anteriores. Así pues, es muy frecuente encontrar arquitecturas paralelas donde las características de los elementos que componen el sistema (los procesadores, la memoria, la red,...) pueden ser diferentes. A finales del siglo XX, en la decada de los 90, con la consolidación de estándares para la programación en arquitecturas de paso de mensaje como PVM y MPI, la programación de sistemas heterogéneos se convierte en un problema tan sencillo o complicado como pueda serlo la programación de arquitecturas homogéneas. Sin embargo, aunque la portabilidad de los códigos está garantizada, no ocurre lo mismo con el rendimiento observado en las aplicaciones. Aparecen nuevas situaciones y cuellos de botella que no pueden ser resueltos mediante la aplicación directa de los modelos y las técnicas conocidas para el caso homogeneo. Se hace necesario adaptar los métodos conocidos y en muchos casos diseñar nuevas estrategias comenzando desde cero. Nos encontramos ante un conjunto importante de problemas abiertos que están siendo intensamente estudiados y analizados. Los objetivos de este memoria se centran en el desarrollo de modelos y herramientas que faciliten el trabajo en este último tipo de entornos. El capítulo 1, auténtico prólogo de esta memoria, consiste en una breve introducción que permite situarnos en el estado actual y en la problemática asociada a la computación en paralelo sobre los sistemas heterogéneos. Una aproximación formal a conceptos y métricas que además ilustra el contexto específico del desarrollo de nuestra propuesta y metodología. Dos paradigmas de programación que presentan interés desde la perspectiva de la computación en paralelo son el paradigma maestro-esclavo y el paradigma pipeline. Es cierto que ambos paradigmas han sido profusamente estudiados sobre arquitecturas homogéneas; su análisis y desarrollo sobre plataformas heterogéneas constituye en estos momentos un auténtico reto. Los modelos formulados para arquitecturas homogéneas pueden considerarse como el punto de partida con el que abordar el caso heterogéneo, sin embargo, tales modelos no son directamente aplicables a este nuevo contexto. En ambas técnicas, partiendo de las propuestas clásicas para el caso homogéneo, estudiamos su comportamiento sobre arquitecturas heterogéneas. La heterogeneidad viene dada por diferencias en los elementos de procesamiento y en las capacidades de comunicación. Derivamos modelos analíticos que predicen su rendimiento y proponemos estrategias para la distribución óptima de tareas desarrollando las herramientas y utilidades necesarias en cada caso. El capítulo 2 contempla el paradigma maestro-esclavo, modelizamos las estrategias FIFO y LIFO validando el modelo analítico sobre aplicaciones bien conocidas: Productos de Matrices y Transformadas de Fourier bidimensionales. Hemos resuelto el problema de la asignación óptima de los recursos (los procesadores) a las tareas, minimizando la función objetivo obtenida desde el modelo análitico, mediante algoritmos de programación dinámica. La utilidad propuesta permite no sólo establecer los beneficios de las aproximaciones FIFO y LIFO, sino que además deriva el conjunto óptimo de procesadores para una ejecución eficiente. El capítulo 3 alude al método pipeline. Desarrollamos herramientas que facilitan la instanciación de algoritmos pipeline en los que el número de etapas puede ser muy superior al número de procesadores reales. Admite distribuciones cíclicas y cíclicas por bloques de las etapas del pipeline virtual al pipeline real. Considerado el caracter heterogéneo de la plataforma, las distribuciones cíclicas por bloques admiten asignaciones vectoriales en las que los procesadores reciben tamaños de bloques acordes a su capacidad computacional. El tamaño del buffer de comunicación es también un parámetro de entrada. La im-
4 plementación de algoritmos de programación dinámica para Problemas de la Mochila 0/1, Problemas de Asignación de Recursos, Problemas de Subsecuencias de Cadenas y Problemas de Planificación de Caminos ilustra el uso y los beneficios de la librería. La modelización analítica del método ha sido validada sobre problemas sintéticos proponiendo técnicas con la que obtener parámetros (tamaños de bloques y buffers) para su ejecución óptima. Algunos autores encuentran analogías entre el comportamiento de las aplicaciones en plataformas heterogéneas y el de determinados códigos irregulares sobre plataformas homogéneas. Este hecho admite la consideración de la heterogeneidad debida al programa en plataformas homogéneas. El capítulo 4 presenta una de tales aplicaciones, la predicción de la estructura secundaria del RNA. El paquete de Viena es un software de libre distribución que resuelve este problema, además de otros asociados a la biología molecular. Implementa un conocido algoritmo de Programación Dinámica que presenta un particular tipo de dependencias en el dominio de ejecución. El espacio de iteraciones presenta un comportamiento irregular en el que el coste de cada iteración es variable, condicionando un particionado no regular. Proponemos modelos analíticos con los que obtener las dimensiones óptimas en esta división del trabajo. Dada la dificultad del problema, el modelo introduce simplificaciones en el sistema para facilitar su manipulación mediante el aparato matemático. Presentamos un modelo estadístico que prueba su efectividad más allá del ámbito de aplicabilidad del modelo analítico. Ambas propuestas han sido validadas sobre móleculas reales obtenidas de bases de datos públicas, generadas por diversos proyectos del contexto de la biología. La modelización estadística se concibe en esta ocasión como un instrumento valioso en la predicción y análisis del rendimiento de aplicaciones paralelas. En el apéndice A se hace un ligero recorrido sobre algunos conceptos y términos de la biología computacional que han sido utilizados de forma natural en el capítulo 4. Con este apartado, se pretende además contextualizar el problema de la predicción de la estructura secundaria del RNA y su relevancia.
5 Índice general 1. Sistemas Heterogéneos: Conceptos, Objetivos y Metodología Introducción El concepto de heterogeneidad en sistemas paralelos Plataformas heterogéneas Métricas de rendimiento en sistemas heterogéneos Ejemplos de sistemas heterogéneos Un ejemplo de plataforma heterogenea Un ejemplo de programa heterogéneo Objetivos y metodología El Paradigma Maestro-Esclavo Resumen Introducción El paradigma maestro-esclavo Estrategia FIFO de resolución en sistemas homogéneos Estrategia FIFO de resolución en sistemas heterogéneos Estrategia LIFO de resolución del problema Validación de los modelos analíticos Algoritmo Secuencial Algoritmo Paralelo Distribución óptima de trabajos en los sistemas homogéneos Validación del modelo analítico FIFO en un sistema heterogéneo con dos tipos de procesadores Validación del modelo analítico FIFO en el sistema heterogéneo con 3 tipos de procesadores Un método exacto para obtener la distribución óptima Metodología aplicada Predicción de la distribución óptima: Producto de matrices
6 2 ÍNDICE GENERAL Análisis de sensitividad Predicción de la distribución óptima de trabajos con 2 tipos de procesadores Predicción de la distribución óptima de trabajos con 3 tipos de procesadores Herramienta de predicción de esquema y distribución óptima de trabajos Predicción de la distribución óptima: FFT-2D Algoritmo Secuencial Algoritmo Paralelo Caracterización de la plataforma heterogénea Distribución óptima de trabajos en los sistemas homogéneos Predicción de la distribución óptima de trabajos con 2 tipos de procesadores Predicción de la distribución óptima de trabajos con 3 tipos de procesadores Herramienta de predicción de esquema y distribución óptima de trabajos Conclusiones El Paradigma Pipeline Resumen Introducción El paradigma pipeline llp: Una herramienta en entornos homogéneos llpw : Una herramienta en entornos heterogéneos Comparativa llp vs llpw Problema de la mochila unidimensional El problema de caminos mínimos El problema de la asignación de recursos Problema de la subsecuencia común más larga El modelo analítico El número de etapas es igual al número de procesadores El número de etapas es superior al número de procesadores: mapping cíclico puro El número de etapas es superior al número de procesadores: mapping cíclico por bloques Validación del modelo analítico El número de etapas es igual al número de procesadores El número de etapas es superior al número de procesadores: mapping cíclico puro El número de etapas es superior al número de procesadores: mapping cíclico por bloques Métodos de predicción de los parámetros óptimos Método exacto enumerativo
7 ÍNDICE GENERAL Un método heurístico Predicción de los parámetros óptimos Conclusiones La Predicción de la Estructura Secundaria del RNA Resumen Introducción El problema de la predicción de la estructura secundaria del RNA El paquete de Viena Estrategias de paralelización La paralelización del paquete de Viena: tamaño constante del tile Paralelización de los triángulos Paralelización de los cuadrados utilizando 2 procesadores Paralelización de los cuadrados utilizando p procesadores Resultados computacionales: tamaño constante del tile Modelo analítico Desarrollo del modelo sobre una máquina ideal Desarrollo del modelo sobre una máquina real Optimizando el tamaño del tile Validación del modelo analítico Modelo estadístico Comparativa modelo analítico vs modelo estadístico Casos reales La paralelización del paquete de Viena: tamaño variable del tile Resultados computacionales: tamaño variable del tile Validación de los modelos: tamaño variable de tile Casos reales Conclusiones A. Introducción a la biología molecular 212 A.1. Las proteínas A.2. Funciones de las proteínas A.3. Estructura de las proteínas A.4. El problema del plegado A.5. El déficit secuencia/estructura A.6. Ácidos nucleicos A.7. Síntesis de proteínas
8 4 ÍNDICE GENERAL A.8. Virus y bacterias A.9. El proyecto genoma humano A.10.Importancia de la bioinformática
9 Capítulo 1 Computación Paralela en Sistemas Heterogéneos: Conceptos Básicos, Objetivos y Metodología 1.1. Introducción Los computadores secuenciales tradicionales han sido diseñados durante muchos años basándose en el modelo introducido por John Von Newman [151, 179, 180]. Este modelo consiste en una unidad central de proceso (CPU) y una memoria. Las máquinas ejecutan una única secuencia de instrucciones, operan con una única secuencia de datos y su velocidad está limitada por dos factores: la capacidad de ejecución de instrucciones y la velocidad de intercambio entre memoria y CPU. La primera máquina que se construyó utilizando está tecnología fue la EDVAC [108, 121, 181], en 1947; desde entonces, este modelo se convirtió en el más utilizado en el diseño de ordenadores. Sin embargo, actualmente existe un amplio rango de aplicaciones (científicas, técnicas, médicas, etc.) que requieren procesar grandes cantidades de datos o realizar un alto número de operaciones, pero no existen procesadores con capacidad para resolverlas de forma independiente en un período de tiempo razonable [1, 102, 113, 185]. Esto indica que para ciertas aplicaciones, no es posible emplear el modelo Von Newman y es necesario buscar alternativas tecnológicas. Una de estas alternativas consiste en emplear múltiples procesadores que cooperen para resolver un problema en una fracción del tiempo que requiere un procesador secuencial. Un problema cualquiera se divide en un número arbitrario de subproblemas y estos subproblemas pueden resolverse simultáneamente sobre diferentes procesadores. Por último, los procesadores se comunican entre sí para intercambiar y combinar los resultados parciales obtenidos. Este modelo tecnológico alternativo es denominado computación en paralelo y pretende conseguir que p procesadores, trabajando de forma conjunta, resuelvan un problema p veces más rápido que un único procesador; aunque esta situación ideal raras veces se alcanza en la práctica. Durante años se han propuesto una amplia variedad de estrategias para abordar la computación en paralelo. Estos nuevos modelos difieren en la forma en la que se comunican los procesadores (memoria compartida o distribuida, red de interconexión en forma de árbol, estrella, etc.), pueden ejecutar el mismo algoritmo o no, operar de forma síncrona o asíncrona, etc. Esto significa que existen diversas formas de concebir la programación en paralelo y de construir máquinas paralelas para resolver un problema mediante esta técnica de computación. Estas máquinas presentan distintas características de red y arquitectura. Podemos encontrar sistemas formados por una única máquina con varios procesadores que colaboran en la resolución de un problema. Estos sistemas han sido denominados multiprocesadores 5
10 6 CAPÍTULO 1. SISTEMAS HETEROGÉNEOS: CONCEPTOS, OBJETIVOS Y METODOLOGÍA o multicomputadores; se caracterizan por una gran capacidad de almacenamiento y una alta velocidad de cómputo, pero resultan muy caros y difíciles de amortizar. Normalmente, se considera que estos dos sistemas se diferencian en el acceso a memoria, la mayoría de las definiciones establecen que un multiprocesador es un sistema de memoria compartida, mientras que un multicomputador trabaja con memoria distribuida [93, 141, 169]. Un multiprocesador puede a su vez clasificarse en grupos basados en la implementación de la memoria compartida [31, 164, 171]: puede existir un acceso uniforme a memoria (UMA), donde el tiempo necesario para acceder a un dato es independiente de su localización; o un acceso no uniforme (NUMA), donde la memoria compartida está físicamente distribuida entre los nodos de procesamiento. Una alternativa de bajo coste para los sistemas paralelos la encontramos en sistemas que denominamos clusters. Estos sistemas se componen de múltiples máquinas, conectadas mediante una red, que el usuario utiliza como si dispusiera de un único computador paralelo [42, 43, 44]. Los clusters de PCs están jugando un papel importante en la Computación de Alto Rendimiento (High Performance Computing). Esto es debido al bajo coste de estos sistemas en relación a su rendimiento. Nosotros hemos centrado gran parte de nuestro trabajo en la resolución de problemas sobre este tipo de recursos. Otro factor, que también ha contribuido de forma notable a la expansión de estos sistemas, se encuentra en la aparición de librerías estándar de procesamiento paralelo que han facilitado la portabilidad de programas paralelos a diferentes arquitecturas (PVM (Parallel Virtual Machine) [63, 78] y MPI (Message passing interface) [89, 134] para el paradigma de paso de mensajes y OpenMP [142] para trabajar con sistemas de memoria compartida). Actualmente, la importancia de los clusters en la computación paralela queda reflejada en la inclusión de estos sistemas en la lista de los 500 sistemas más potentes (la lista del top500 [125]). En esta lista se encuentran, a fecha de junio de 2004, 291 clusters. Esta cifra supone un 58 % de los 500 sistemas. La proporción es aún mayor si consideramos únicamente los 10 primeros sistemas, donde aparecen 6 clusters. Los dos sistemas más potentes de este tipo se encuentran en las posiciones 2 y 3 de la lista y ambos se encuentran instalados en Estados Unidos. El primero de ellos en el Lawrence Livermore National Laboratory y está compuesto por 4096 procesadores Thunder e Intel Itanium2 Tiger4 de 1,4 GHz. El segundo está localizado en Los Alamos National Laboratory, compuesto por 8192 procesadores ASCI Q - AlphaServer SC45 de 1.25 GHz. En muchos casos, los clusters están compuestos por procesadores de características similares conectados mediante una única arquitectura de red. Los tiempos de cómputo para todos los procesadores son iguales, así como también lo son los tiempos de comunicación entre ellos. A estos sistemas se los conoce como sistemas homogéneos. Sin embargo, debido a la arquitectura inherente a este tipo de sistema, es muy probable que al incrementar el número de procesadores en el cluster o al sustituir algún elemento de la máquina (procesador, memoria, interfaz de red, etc.) las características de la nueva máquina no coincidan con las características de los componentes originales, dando lugar a un sistema de naturaleza heterogénea. El concepto de sistema heterogéneo se aplica, en ocasiones, a sistemas compuestos por diferentes tipos de PCs y máquinas con múltiples procesadores conectados mediante redes. Debido a las diferencias entre las máquinas que forman el sistema, es probable que las velocidades de cómputo de los procesadores sean distintas y los tiempos de transferencia de datos también pueden ser diferentes en las comunicaciones entre cada par de procesadores. La naturaleza de esta red es inherentemente dinámica y depende de qué máquinas se utilicen en cada momento para resolver un problema y cuáles sean sus características (capacidades de cómputo, memoria, comunicaciones, etc.). La programación dependiente de la arquitectura de la máquina supone una dificultad adicional en este tipo de sistemas. Otra de las desventajas que aparecen en los sistemas heterogéneos se debe al comportamiento de los tiempos de ejecución de las aplicaciones. El rendimiento conseguido con un multiprocesador o multicomputador paralelo suele ser más elevado que el obtenido en un entorno de máquinas heterogéneas; los usuarios pueden verse obligados a aceptar en algunos casos una reducción del rendimiento de sus aplicaciones a favor de una gran reducción en el coste del sistema. Una de las razones para que esta situación se produzca, es que la mayoría de los programas paralelos han sido desarrollados bajo la hipótesis de trabajar sobre
11 1.1. INTRODUCCIÓN 7 una arquitectura homogénea. Esta hipótesis también ha sido considerada de manera habitual al desarrollar modelos analíticos con los que predecir el rendimiento de un sistema paralelo [24, 57, 73, 87, 154, 178]; generalmente, esos modelos no pueden ser aplicados directamente a entornos de naturaleza heterogénea. Se hace necesario, por tanto, revisar los conceptos y modelos utilizados hasta el momento en los sistemas homogéneos para adaptarlos a entornos heterogéneos [145, 191]. En los últimos años se han publicado diversos trabajos que analizan los entornos heterogéneos y los parámetros que deben considerarse en el uso de estos sistemas: las distintas velocidades de cómputo de los procesadores que trabajan en la resolución del problema; las capacidades de memoria; la arquitectura de la red de interconexión entre las máquinas; la planificación de la distribución de los subproblemas a los procesadores; el análisis del rendimiento del sistema, etc. Algunos de los mejores trabajos realizados sobre sistemas heterogéneos en los últimos años podemos encontrarlos en [14, 15, 16, 17, 18, 37, 39, 40, 116, 118]. En [37] los autores describen diferentes tipos de heterogeneidad que pueden encontrarse en un sistema y estudian la mayoría de las situaciones que surgen en las plataformas homogéneas y heterogéneas, para cómputos regulares e irregulares. Debido a que existen diferentes tipos de heterogeneidad, algunos autores [16] consideran una simplificación del problema al tener en cuenta, únicamente, la heterogeneidad producida por la diferencia entre las velocidades de procesamiento de las estaciones de trabajo. Sin embargo, es un hecho probado que incluso la heterogeneidad en la velocidad de los procesadores puede tener un impacto significativo en la sobrecarga de las comunicaciones [14], aún cuando las capacidades de comunicación en la red sean las mismas para todos los procesadores. En [18] los autores dan una definición formal de una plataforma heterogénea, como un grafo dirigido donde cada nodo es un recurso de computación y las aristas son los enlaces de comunicación entre ellos; en [17] se pueden encontrar algoritmos (round robin y multiple round robin), que permiten calcular la distribución de trabajo en plataformas homogéneas y heterogéneas, considerando la existencia o no de latencia en el sistema; en [15] los autores realizan un estudio sobre estrategias de planificación teniendo en cuenta distintas plataformas heterogéneas en estrella o en árbol, considerando además diferentes niveles de paralelismo interno en los procesadores. En [116] se presentan modelos de programación eficientes en entornos heterogéneos comparando el rendimiento de un cluster Linux (14 procesadores Intel Pentium II ), con el de una máquina Cray-T3E con 512 procesadores DEC Alpha. En [118] se puede encontrar una heurística que proporciona la distribución de la carga óptima para los procesadores organizados mediante un anillo virtual, de modo que cada procesador sólo puede comunicarse con otros dos procesadores: el predecesor y el posterior en el anillo. En [39, 40] presentan un sistema denominado PINCO para monitorizar la carga de las máquinas del sistema, de manera que pueden realizar una distribución dinámica de la carga. En estos trabajos los autores plantean las tres posibles distribuciones de tareas más utilizadas en los sistemas heterogéneos. Realizar un particionamiento regular de los datos entre los procesos y asignar más de un proceso por procesador. Realizar un particionamiento irregular de los datos a los procesos y asignar únicamente un proceso a cada procesador. Seguir un modelo maestro-esclavo, donde existe un conjunto de tareas simétricas y un proceso por procesador. Es utilizado cuando el número de procesos es significativamente menor que el número de tareas. La ventaja de los dos primeros modelos es que ofrecen un soporte eficiente para resolver problemas, capaz de mantener la eficiencia cuando la plataforma es altamente dinámica; aunque los sistemas de carga dinámica se encuentran fuera del ámbito de este trabajo. El resto del capítulo lo hemos estructurado de la siguiente manera. En 1.2 se introduce el concepto de heterogeneidad en sistemas paralelos. En la sección 1.3 se describen las plataformas heterogéneas y se comentan algunas de sus características. En 1.4 se detallan algunas de las métricas utilizadas para establecer el rendimiento obtenido en estos sistemas. En 1.5 presentamos dos ejemplos de sistemas heterogéneos: el cluster donde hemos realizado la mayoría de las ejecuciones presentadas en este trabajo (subsección 1.5.1)
12 8 CAPÍTULO 1. SISTEMAS HETEROGÉNEOS: CONCEPTOS, OBJETIVOS Y METODOLOGÍA y un ejemplo de programa heterogéneo (subsección 1.5.2). Por último, en 1.6 presentamos los objetivos de nuestra investigación y la metodología seguida para alcanzarlos El concepto de heterogeneidad en sistemas paralelos Los elementos fundamentales que intervienen en un sistema paralelo son los procesadores, la arquitectura de red, la memoria, la forma de acceso a memoria (memoria compartida / memoria distribuida) y el tipo del problema a resolver. Cada uno de los anteriores elementos constituyen una posible fuente de heterogeneidad en el sistema. Los procesadores: La velocidad de un procesador puede definirse en función del número de operaciones por segundo, así como del tiempo que necesita el procesador para realizar accesos a memoria. Se produce heterogeneidad debida a los procesadores cuando la velocidad de las máquinas disponibles en el sistema no es la misma para todos. Aunque también se puede producir heterogeneidad cuando procesadores con las mismas características ejecutan un mismo programa a distinta velocidad, debido a la influencia de otros elementos de la arquitectura. La velocidad de un procesador no está sólo en función del número de operaciones por segundo. La memoria: Es posible jerarquizar la memoria de las máquinas realizando una clasificación por niveles (figura 1.1), donde el nivel más cercano al procesador es más rápido y reducido por razones de coste. Figura 1.1: Jerarquía de memoria: el nivel más cercano al procesador es más rápido y reducido por razones de coste. La heterogeneidad debida a la memoria se produce cuando los procesadores disponen de jerarquías distintas de memoria o de diferentes cantidades de memoria en cada una de las categorías existentes. El tamaño de los problemas que pueden resolverse en una máquina está limitado por la cantidad de memoria disponible en esa máquina. Considerando un sistema heterogéneo, el tamaño de los problemas que pueden resolverse está limitado por la cantidad de memoria combinada que exista en el sistema. Si no se tienen en cuenta las diferencias de memoria se podrían estar infrautilizando las capacidades de ejecución del sistema. La red: En un sistema paralelo se debe considerar también el coste de las comunicaciones entre dos máquinas cualesquiera. Por simplicidad, suele asumirse que el coste de las comunicaciones punto a punto entre las máquinas de una red se puede caracterizar mediante el modelo lineal clásico: β + τ w, donde β es la latencia de la red, que es independiente del tamaño del mensaje enviado; τ es el tiempo de transferencia por byte, que es la inversa del ancho de banda del enlace entre los procesadores; y w representa el número de bytes que se transmiten. El coste de comunicación entre
13 1.3. PLATAFORMAS HETEROGÉNEAS 9 dos procesadores modelado de esta forma incluye el tiempo que tarda un procesador en enviar datos y el que invierte el segundo procesador en recibirlos. Estos dos parámetros son fundamentales en las comunicaciones en una red, debido a que una latencia alta puede producir un alto coste en las comunicaciones y reducir el rendimiento del sistema; mientras que el ancho de banda puede convertirse en un cuello de botella si la cantidad de información que se quiere transmitir es superior a la capacidad del canal. Sin embargo, en redes heterogéneas donde las capacidades de comunicación pueden ser diferentes en los distintos procesadores, los parámetros β y τ deben ser obtenidos para cada par de procesadores de forma independiente. De acuerdo con esta situación, para establecer una comunicación de tamaño w entre dos procesadores p i y p j se necesita invertir un tiempo β ij + τ ij w, donde β ij y τ ij son la latencia y tiempo de transferencia por byte, respectivamente, que se obtienen entre los procesadores p i y p j. El programa: Los procesadores pueden ejecutar programas compuestos por códigos regulares o irregulares. Considerando estos programas, puede asumirse que existen dos tipos de iteraciones: homogéneas y heterogéneas [37]. Se conocen como iteraciones homogéneas aquellas en las que los procesadores realizan siempre la misma cantidad de trabajo. Las iteraciones heterogéneas son aquellas en las que varía la cantidad de trabajo que realizan los procesadores en cada una de las pasadas del algoritmo. Un programa que contenga iteraciones heterogéneas puede ser considerado como un programa heterogéneo. Desde esta perspectiva, se puede considerar como sistema heterogéneo, un programa heterogéneo ejecutado de forma paralela sobre procesadores homogéneos conectados mediante una red homogénea Plataformas heterogéneas Una plataforma heterogénea puede ser definida como un infraestructura computacional donde están disponibles procesadores de diferentes características conectados a través de una red. Esta plataforma puede ser representada por un grafo no dirigido HN(P, IN) [192], donde: P = {p 0... p p 1 } representa al conjunto de procesadores heterogéneos disponibles en el sistema (p procesadores). La capacidad de cómputo de cada uno de estos procesadores está determinada por la velocidad de CPU, la entrada/salida y velocidad de acceso a memoria. Los procesadores constituyen los nodos del grafo. IN es la red de interconexión entre los procesadores. Cada arista del grafo representa una conexión física entre un par de procesadores y puede caracterizarse por una latencia y un ancho de banda diferente, lo que significa que cada arista podría etiquetarse con dos valores que especifiquen el tiempo necesario para transferir un mensaje entre los dos procesadores que se encuentran en los extremos de la arista. Se asume que una arista entre dos nodos, p i y p j, es bidireccional y simétrica; es decir, es posible transmitir el mensaje en cualquiera de las dos direcciones posibles y el tiempo para enviar el mensaje de p i a p j es el mismo que el tiempo necesario para transmitirlo de p j a p i. El conjunto de aristas del sistema, IN, puede llegar a ser muy complejo e incluir múltiples caminos y ciclos. El grafo puede ser completo o no (figuras 1.2-a y 1.2-b respectivamente) o estar organizado en una estructura de estrella (figura 1.2-c), árbol (figura 1.2-d), etc. Si consideramos un procesador cualquiera p i, se denominan vecinos de p i a todos aquellos procesadores interconectados a p i a través de una arista del grafo. En el caso de disponer de un conjunto de procesadores interconectados a través de un grafo completo, todos los procesadores son vecinos entre sí, debido a que siempre existe un enlace entre cada par de nodos (p i, p j ). En el ejemplo de la figura 1.2-a, el grafo completo, puede considerarse que existe un enlace físico de comunicación independiente entre cada par de nodos, o bien, considerar la plataforma donde todos los
14 10 CAPÍTULO 1. SISTEMAS HETEROGÉNEOS: CONCEPTOS, OBJETIVOS Y METODOLOGÍA a) b) c) d) Figura 1.2: Ejemplos de plataformas heterogéneas: a) Grafo completo con 6 procesadores: existe un enlace directo entre cada par de procesadores heterogéneos de la plataforma. b) Grafo no completo con 9 procesadores. c) Plataforma en forma de estrella con 7 procesadores. d) Plataforma en forma de árbol con 12 procesadores. procesadores están conectados a través de un único bus (figura 1.3). En este último tipo de plataforma el canal de comunicación disponible entre las máquinas suele ser exclusivo; es decir, en un instante de tiempo dado solamente un procesador puede utilizar la red de interconexión. Esto supone que si otro procesador quiere utilizar el canal en el momento en que un procesador ya está transmitiendo, debe esperar a que el canal se libere, lo que puede significar un retraso importante en las comunicaciones. Figura 1.3: Ejemplo de plataforma heterogénea con 6 procesadores: Todos los procesadores están conectados a través de un único bus. En todos estos ejemplos hemos considerado que un enlace entre dos procesadores cualesquiera es bidireccional; sin embargo, una variante a este tipo de plataforma puede asumir que en lugar de disponer de aristas bidireccionales, existen dos enlaces unidireccionales entre cada par de procesadores, con etiquetas que pueden ser diferentes. En este caso, la plataforma heterogénea se representa por un grafo dirigido y el tiempo de transmisión de un mensaje de p i a p j puede no coincidir con el tiempo empleado para transmitirlo de p j a p i. Asimismo, los procesadores del sistema pueden presentar diferentes comportamientos, en función de sus capacidades para solapar cómputo y comunicaciones [15]: realizar simultáneamente múltiples recepciones de datos de todos sus vecinos, alguna operación de cómputo y múltiples operaciones de envío de información a todos sus vecinos; pueden tener limitado el número de recepciones y envíos a k vecinos (k = 1,..., p 2); pueden realizar dos acciones en paralelo (recepción + cómputo, recepción + envío o
15 1.4. MÉTRICAS DE RENDIMIENTO EN SISTEMAS HETEROGÉNEOS 11 cómputo + envío); o pueden llevar a cabo únicamente una operación en cada instante de tiempo. Esta última opción elimina el paralelismo interno de los procesadores, ya que todas las operaciones que ejecuta un procesador las realiza de forma secuencial Métricas de rendimiento en sistemas heterogéneos En esta sección se especifican algunas de las métricas empleadas para analizar el rendimiento en sistemas heterogéneos. Algunas de ellas se definen de forma natural por extensión del caso homogéneo; otras, por contra, requieren una formulación específica. En la definición de estas medidas se utiliza la siguiente notación: M: Es el tamaño del problema, expresado como el número de operaciones necesarias para resolverlo. T seqi : Es el tiempo de ejecución del algoritmo secuencial en el procesador p i. T i : Es el tiempo empleado por la ejecución paralela desde su inicio hasta la finalización del procesador p i. Considerando las definiciones anteriores, se denomina tiempo de ejecución paralelo, T par, al tiempo transcurrido desde el comienzo de la ejecución paralela hasta el momento en que finaliza el último procesador [113]: T par = máx p 1 i=0 T i. La potencia computacional de un procesador en un sistema heterogéneo puede ser definida como la cantidad de trabajo realizada en el procesador durante una unidad de tiempo [145, 192]. La potencia computacional depende de las características físicas del procesador, pero también de la tarea que se esté ejecutando. Esto significa que este valor puede variar para diferentes aplicaciones y, debido a las limitaciones del tamaño de memoria, caché y otros componentes hardware, la velocidad de cómputo puede cambiar también al modificar el tamaño del problema de la aplicación. La potencia computacional del procesador p i para una carga de trabajo M puede ser expresada como CP i = M T seqi. Desde un punto de vista práctico, la potencia computacional media, en un conjunto de procesadores, puede calcularse ejecutando una versión secuencial del algoritmo en cada uno de ellos, usando un problema de tamaño adecuado para prevenir errores debido a efectos en la memoria caché. En los sistemas homogéneos la potencia computacional es constante para todos los procesadores CP i = CP, i = 0,..., p 1. La potencia computacional total de un sistema heterogéneo, compuesto por p procesadores (CP t (p)), puede definirse como la suma de la potencia computacional de todos los procesadores que componen el sistema [145]. Este parámetro refleja la cantidad de trabajo que puede realizar el sistema en una unidad de tiempo, al ejecutar un algoritmo específico. Puede expresarse como CP t (p) = p 1 i=0 CP i. En los sistemas homogéneos, al permanecer constante la potencia computacional para todos los procesadores, la potencia computacional total puede expresarse como CP t (p) = p CP. Otra de las métricas que pueden ser utilizadas en un sistema es su nivel de heterogeneidad. Este parámetro ofrece un valor de la similitud o diversidad de las máquinas del sistema; por ejemplo, cuando un número pequeño de procesadores es mucho más rápido o más lento que la mayoría se considera que es un sistema con una heterogeneidad alta. Se calcula en función de la potencia computacional de sus máquinas: escalando los valores obtenidos de las potencias computacionales para los procesadores, de modo que a aquellos que sean más rápidos se les asigne una potencia computacional de 1. Denominando CP E i a las potencias computacionales escaladas de las máquinas, se define la heterogeneidad del sistema p 1 i=0 (1 CP E i ) p como H = [192]. Esta métrica varía entre 0 cuando el sistema es homogéneo (la potencia computacional es la misma para todos los procesadores) y un valor máximo próximo a 1.
16 12 CAPÍTULO 1. SISTEMAS HETEROGÉNEOS: CONCEPTOS, OBJETIVOS Y METODOLOGÍA Independientemente de las características de los procesadores, también es necesario considerar el coste de las comunicaciones. Tal como se ha descrito en la sección 1.2, un modelo habitual utiliza β ij y τ ij (latencia y tiempo de transferencia respectivamente entre dos procesadores de la red, p i y p j ) para representar el coste de las comunicaciones mediante el modelo lineal clásico β ij + τ ij w. La aceleración (Sp) obtenida en un sistema paralelo es también una métrica importante del rendimiento de un algoritmo en el sistema, puesto que muestra el beneficio relativo de resolver un problema en paralelo frente a su resolución en una máquina secuencial. En sistemas homogéneos se define la aceleración como la relación entre el tiempo secuencial obtenido en cualquiera de las máquinas y el tiempo de ejecución paralelo: Sp = Tseq T par, donde T seq = T seqi, i = 0,..., p 1 [1, 185]. Si Sp > 1 entonces el sistema presenta un rendimiento superior al de las máquinas individuales del sistema. Teóricamente, la aceleración nunca puede exceder al número de procesadores p que intervienen en la resolución del problema. En muchos casos, la aceleración conseguida es mucho menor que la aceleración máxima (Sp << p). Esta situación puede producirse cuando no es posible descomponer el problema en un número apropiado de tareas independientes a ser ejecutadas simultáneamente; o bien, si el tiempo requerido en la fase de comunicación entre los procesadores es demasiado alto. Sin embargo, en algunos algoritmos y para algunos casos, se puede obtener una aceleración superior al máximo (Sp > p). Este fenómeno se conoce como aceleración superlineal [20, 91, 96]. Puede aparecer debido a algoritmos secuenciales no óptimos o a características del hardware que ralentizan la ejecución del algoritmo secuencial (por ejemplo, el tamaño de la memoria caché). La primera de estas situaciones se produce cuando el programa paralelo implementado realiza un número inferior de operaciones, para resolver el problema, que el algoritmo secuencial. En este caso, la superlinealidad puede resolverse fácilmente si es posible diseñar un nuevo algoritmo secuencial que sea equivalente al algoritmo paralelo empleado. La segunda de las situaciones es debida al tamaño de la memoria caché de un procesador, que puede permitir resolver el subproblema asignado en una ejecución paralela, realizando pocos intercambios de información entre memoria caché y memoria principal; mientras que el tamaño del problema a resolver en el caso secuencial es muy superior y son necesarios un número excesivo de intercambios de datos entre memoria principal y caché, ralentizando su ejecución. En este caso, el problema es más difícil de resolver, es necesario modificar las características hardware de la máquina. En el caso heterogéneo no todos los procesadores invierten el mismo tiempo en resolver el problema de forma secuencial, por lo que es necesario adaptar el concepto de aceleración. Diferentes autores proporcionan definiciones de la aceleración en una red heterogénea [2, 32, 47, 62, 191, 192]. La definición más extendida es la que considera la aceleración como la relación entre el tiempo necesario para completar una ejecución en el procesador de referencia de la red y el tiempo empleado para realizar la misma ejecución sobre el sistema heterogéneo. Es habitual considerar como procesador de referencia el procesador más rápido del sistema; en este caso, la definición de la aceleración se convierte en Sp = mínp i=0 Tseq i T par. Esta definición es la que hemos empleado a lo largo de la memoria. En estos sistemas la acelaración máxima que se puede alcanzar es menor que el número de procesadores que intervienen en la ejecución, puesto que no todas las máquinas disponen de las mismas características. En [47] los autores definen la potencia relativa del sistema como el número de procesadores equivalentes al procesador considerado como referencia, que deberían componer un sistema homogéneo, para que los dos sistemas tuvieran la misma potencia de cómputo total. Para calcular este valor es necesario conocer el número de máquinas de cada tipo disponibles en el sistema y las relaciones entre sus velocidades. Considerando como procesador de referencia el correspondiente a las máquinas más rápidas, utilizamos las potencias computacionales escaladas para obtener la heterogeneidad del sistema. Suponiendo que tenemos un sistema con dos tipos de máquinas, la aceleración máxima que podemos obtener sería: Sp max = número de máquinas rápidas + número de máquinas lentas * potencia computacional escalada de las máquinas lentas. Considerando un sistema heterogéneo general, donde existen m tipos de máquinas diferentes, la aceleración máxima viene dada por la siguiente ecuación: Sp max = n R + m 1 i=1 n i CP E i ;
17 1.4. MÉTRICAS DE RENDIMIENTO EN SISTEMAS HETEROGÉNEOS 13 donde n R es el número de procesadores rápidos (tipo de máquina 0) y se suma el número de procesadores de cada uno de los tipos restantes (i = 1,..., m 1) por su potencia computacional escalada. Un ejemplo de aplicación de esta definición lo encontramos en [88], aunque en este caso los autores utilizan como máquina de referencia a los procesadores más lentos. La eficiencia y la escalabilidad son también dos conceptos fundamentales para definir el rendimiento de los sistemas paralelos, particularmente en el caso de los clusters. La eficiencia es una medida del porcentaje de tiempo por máquina que es empleado para resolver un cómputo paralelo. En los sistemas homogéneos la eficiencia se define como la aceleración dividida entre el número de procesadores Sp/p y se han desarrollado numerosos trabajos, tanto teóricos como prácticos, para caracterizar la eficiencia en estos sistemas [1, 58, 68, 87, 115, 185]. En un sistema ideal, el valor de la eficiencia es 1, pero en sistemas reales varía entre 0 y 1. La escalabilidad de un sistema homogéneo es un término impreciso, puede definirse como la capacidad de un sistema paralelo para mejorar su rendimiento cuando aumenta el tamaño del problema y el número de procesadores. Se basa en la selección de una métrica empleada para caracterizar el comportamiento del sistema. Las métricas más utilizadas han sido la aceleración, la eficiencia, la velocidad media y la latencia. El grado de escalabilidad de un sistema se calcula mediante la ecuación: crecimiento del problema / crecimiento del sistema [190, 192]. Sin embargo, como sucede con las restantes medidas de rendimiento vistas en esta sección, no es posible aplicar estos conceptos del ámbito homogéneo directamente al caso heterogéneo, debido a las diferencias de características y rendimiento de los procesadores que conforman el sistema. Para poder establecer definiciones que se adapten a los sistemas heterogéneos partimos del concepto anterior de potencia computacional total y concluimos que su valor en un sistema depende tanto del número de procesadores que componen el sistema como de la potencia computacional de cada uno de ellos. Esto significa que dos sistemas con el mismo número de procesadores no necesariamente deben tener la misma potencia computacional total y, por lo tanto, es posible incrementar su valor aumentando el número de procesadores (escalabilidad física) o la potencia de alguno de ellos (escalabilidad de potencia) [145, 192]. Como consecuencia de este hecho no es posible definir la eficiencia de un sistema heterogéneo únicamente como una función del número de procesadores, como se hace en el caso de los sistemas homogéneos, debido a que el rendimiento del sistema depende de cuáles son las máquinas utilizadas en cada momento. La eficiencia en un sistema heterogéneo puede definirse como la relación entre el menor tiempo de ejecución necesario para resolver un problema específico en el sistema y el tiempo real obtenido durante la ejecución del algoritmo: EF = Tiempo de ejecución óptimo / Tiempo de ejecución real [145]. Formalmente, en [145] se establece la siguiente definición de escalabilidad: Dado un sistema paralelo heterogéneo HN con p procesadores, con CP t para un trabajo M, y un sistema HN, con p procesadores y con CP t para un trabajo M, con CP t > CP t ; se puede decir que HN es un sistema escalable si, cuando el sistema es ampliado desde HN a HN, es posible seleccionar un problema M tal que la eficiencia de HN y HN permanezcan constantes. A efectos prácticos consideraremos que el sistema es escalable cuando sea posible incrementar la eficiencia del sistema aumentando la potencia de cómputo a través de alguno de los dos elementos definidos. Por último, el número de procesadores utilizados para resolver un problema también es una medida a tener en cuenta en el caso homogéneo. El número total de procesadores disponibles en un entorno puede ser superior al número óptimo necesario para ejecutar un algoritmo, lo que puede producir un uso ineficiente de la arquitectura paralela. Esto significa que hay que seleccionar un subconjunto de procesadores que minimice el tiempo de ejecución del problema. En el caso heterogéneo, es necesario calcular el número óptimo de procesadores de cada uno de los tipos disponibles de máquinas, para minimizar el tiempo de ejecución.
18 14 CAPÍTULO 1. SISTEMAS HETEROGÉNEOS: CONCEPTOS, OBJETIVOS Y METODOLOGÍA 1.5. Ejemplos de sistemas heterogéneos Un ejemplo de plataforma heterogenea Consideramos la plataforma heterogénea donde hemos realizado las pruebas experimentales de los capítulos 2 y 3, como el grafo no dirigido HN(P, IN) (sección 1.3), donde el conjunto de procesadores disponibles en el sistema, P, está formado por los siguientes grupos de máquinas: El primer grupo está compuesto por una máquina de memoria compartida con cuatro procesadores Intel (R) Xeon T M de 1.40 GHz con 3Gb de memoria. Los procesadores que forman esta máquina se denominarán a lo largo de toda la memoria como máquinas rápidas (R). El segundo grupo de máquinas lo forman cuatro PCs AMD Duron T M de 800 MHz con 256 MB de memoria. Estas máquinas se denominarán máquinas intermedias (I). El último grupo, las máquinas lentas (L), está formado por seis PCs AMD-K6 T M de 501 MHz con 256 MB de memoria. Todas las máquinas de estos tres grupos trabajan con el sistema operativo Debian Linux y están conectadas mediante un switch Fast Ethernet a 100 Mbit/s en un esquema de bus (figura 1.3) formando la red de inteconexión (IN). En esta plataforma vamos a considerar la heterogeneidad debida a diferencias en las velocidades de cómputo de los procesadores y a las diferencias en las velocidades de comunicación (sección 1.2). La heterogeneidad debida a las diferencias en las capacidades de memoria no la hemos tenido en cuenta al realizar este trabajo. A continuación, caracterizamos esta plataforma (HN) mediante algunas de las métricas de rendimiento vistas en la sección 1.4. La primera métrica calculada en HN es la potencia de cómputo de cada uno de los grupos de procesadores. Definíamos esta métrica como la cantidad de trabajo realizado en el procesador durante una unidad de tiempo. En la práctica utilizamos como medida el tiempo que tarda un procesador p i en computar una cantidad de trabajo. Podemos determinar este valor ejecutando el algoritmo secuencial en los tres tipos de máquinas que componen HN, y posteriormente usar la relación entre estos valores para establecer las cantidades de trabajo que se asignan a cada procesador. Esta medida depende del tipo de trabajo a realizar, por lo que es necesario calcularla para cada problema de forma independiente; en los capítulos siguientes se presentan los resultados obtenidos para cada caso. La tabla 1.1 muestra un ejemplo de los resultados obtenidos al resolver el problema del producto de matrices sobre los tres tipos de máquinas. Los valores que aparecen en la tabla son las relaciones obtenidas entre los tiempos secuenciales de las máquinas rápidas y lentas (columna L / R), entre los tiempo secuenciales de las máquinas rápidas e intermedias (columna I / R) y entre intermedias y lentas (columna I / L). Este problema lo resolvemos de forma paralela mediante un algoritmo maestro-esclavo en el capítulo 2. Tabla 1.1: Relaciones obtenidas entre los tiempos secuenciales para los tres tipos de máquinas que componen HN con diferentes tamaños de problemas: lentas / rápidas (L / R), intermedias / rápidas (I / R) y lentas / intermedias (L / I). Filas Columnas L / R I / R L / I Utilizando el mismo problema también podemos calcular el valor de otras dos métricas definidas en la sección 1.4: la heterogeneidad y la aceleración máxima que puede alcanzarse. Para calcular el valor de la
19 1.5. EJEMPLOS DE SISTEMAS HETEROGÉNEOS 15 heterogenidad considerábamos en la sección 1.4 que asignábamos un 1 a la potencia computacional de la máquina más rápida y escalábamos los valores para el resto de las máquinas. A continuación aplicábamos p 1 la fórmula: H =. La tabla 1.2 contiene los valores escalados de la potencia computacional para los tres tipos de máquinas que componen el cluster (columnas CPR E para las máquinas rápidas, CPI E para las intermedias y CPL E para las lentas) y el valor total de la heterogeneidad para el problema del producto de matrices, con los cuatro tamaños diferentes de problemas que presentamos en la tabla 1.1, cuando ejecutamos los problemas sobre el cluster completo de 14 máquinas. i=0 (1 CP E i ) p Tabla 1.2: Potencia computacional escalada para los tres tipos de máquinas del cluster (rápidas, intermedias y lentas) y valor de la heterogeneidad al resolver cuatro problemas de distintos tamaños del producto de matrices. Filas Columnas CP E R CP E I CP E L Heterogeneidad Como se observa en la tabla 1.2, disponemos de un sistema bastante heterogéneo, el valor de la heterogeneidad se mantiene alrededor de 0.5. La heterogeneidad se incrementa al aumentar el tamaño del problema, puesto que la diferencia entre las velocidades de las máquinas rápidas e intermedias también aumenta al resolver los problemas mayores (tabla 1.1). La tercera métrica que vamos a aplicar utilizando este problema es la aceleración máxima del sistema. Adaptamos la fórmula definida en la sección 1.4 a tres tipos de máquinas y obtenemos la siguiente ecuación: Sp max = n R + n I CPI E + n L CPL E, donde n R, n I y n L son el número de procesadores rápidos, intermedios y lentos respectivamente; CPI E y CPL E son los valores de las potencias de cómputo escaladas que obtuvimos en el cálculo de la heterogeneidad (tabla 1.2). La figura 1.4 muestra cuáles son las aceleraciones máximas posibles para el sistema, cuando resolvemos los problemas utilizando los 14 procesadores disponibles. Figura 1.4: Aceleraciones máximas posibles para los cuatro problemas del producto de matrices utilizando las 14 máquinas disponibles en el sistema, comparadas con la aceleración máxima en un sistema homogéneo del mismo tamaño. Como se observa en la figura 1.4, las aceleraciones máximas que podemos conseguir en este sistema están muy lejos de la Sp max = 14 que tendríamos si ejecutásemos los problemas sobre un sistema homogéneo con el mismo número de máquinas que nuestro sistema heterogéneo. Otra de las medidas importantes que debemos considerar en nuestra plataforma es el coste de las comunicaciones entre las máquinas. Para modelizar estas comunicaciones se han medido los parámetros
20 16 CAPÍTULO 1. SISTEMAS HETEROGÉNEOS: CONCEPTOS, OBJETIVOS Y METODOLOGÍA Tabla 1.3: Latencia y tiempo de transferencia por byte en nuestra plataforma para todas las combinaciones de dos procesadores. Tipo Emisor Tipo Receptor β τ Rápido Rápido E E-09 Rápido Intermedio E-08 Rápido Lento E-07 Intermedio Intermedio E-08 Intermedio Lento E-07 Lento Lento E-07 β y τ mediante experimentos de tipo ping-pong. Se han utilizado las funciones MPI Send y MPI Receive con bloqueo definidas en el estándar de la librería de paso de mensajes MPI [89, 134] y se realiza un ajuste lineal de los tiempos de envío, como función del tamaño del mensaje, para combinaciones de pares de máquinas lentas (L), intermedias (I) y rápidas (R) (tabla 1.3). Como los parámetros se han medido utilizando un ping-pong, los valores obtenidos por las combinaciones rápida-lenta y lenta-rápida son iguales, así como los obtenidos para las combinaciones rápida-intermedia, intermedia-rápida y lentaintermedia, intermedia-lenta. La figura 1.5 muestra el efecto de los parámetros β y τ. Figura 1.5: Modelo lineal clásico para el tiempo de transferencia usando diferentes tipos de procesadores. R = Procesador Rápido, I = Procesador Intermedio y L = Procesador Lento.

References: resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución