Subsecciones

3.2 LA IMPORTANCIA DE LA RED

3.2.1 La importancia del sistema de comunicación

En los clusters la eficacia del sistema de comunicación es crítica. Si las comunicaciones fallan el cluster dejará de ser un cluster y se convertirá en un conjunto de máquinas que no cooperarán, algo lejos del objetivo. Por lo tanto es usual disponer en sistemas cluster de alta disponibilidad de una red alternativa por si la red principal fallara. Cabe decir que una red es un elemento bastante fiable a nivel físico: es difícil que una vez instalada y probada, falle. Sobre las topologías y tecnologías de red que existen se hablará en las próximas secciones.

Otro tema importante de la red es la eficiencia: de nada sirve una red si está congestionada. Hay que tener en cuenta que todas las comunicaciones entre nodos pasan a través de la red; dependiendo de la cantidad de nodos la red puede ser la culpable directa de mermar la eficacia computacional del cluster. Es por esta razón que la inversión en una red tecnológicamente moderna es habitual en estos sistemas.

3.2.2 Topologías de red

Existen muchas topologías de red que se han impuesto en diversos entornos, cada una de estas topologías tienen sus propios puntos fuertes.

Las topologías estáticas son topologías donde una vez hechas las conexiones, éstas no cambian. Las redes dinámicas están construidas con elementos que se pueden conectar entre varios caminos, esto hace que si un camino está siendo usado se pueda usar otro, permitiendo más paralelismo. La topología de la red influye mucho en el grado de paralelismo que se pueda alcanzar.

3.2.2.1 Redes estáticas

Las redes estáticas fueron las primeras en aparecer. En estas redes se distingue entre redes punto a punto y redes con acceso a medio compartido. Van a verse los ejemplos más usados, explicando las ventajas y los inconvenientes de cada una de ellos. Entre las redes punto a punto destacan:
Figura: La importancia de la red. Topología de redes estáticas
Image topologia_redes_estaticas

3.2.2.2 Redes dinámicas

Estas redes cambian su topología dinámicamente: cuando dos nodos necesitan conectarse la red puede cambiar de tal forma que se puedan conectar, así no se necesita pasar por todos los nodos o crear una complicada estructura de conexión. En el caso anterior los nodos tenían que proveer de las capacidades que necesitaba la red (por ejemplo el nodo central de una red tipo estrella tenía que tener características especiales) . Este es el caso donde la red es controlada por los nodos. La red está formada de cajas de conmutación: cambiando las cajas de conmutación se cambia la red.

Hay dos tipos de redes dinámicas:

En las redes monoetapa si no se puede acceder desde cualquier elemento a otro cualquiera se necesita recircular la información.

Dentro de este tipo de redes es de especial interés el caso de la red de barras cruzadas: los procesadores tanto formando una linea en horizontal como en vertical y unas vias los conectan; cuando un procesador se quiere comunicar con otro, la posición (proc X, proc Y) se activa con lo que se hace una conexión.

Esto permite que todos los procesadores puedan mantener conexiones independientes. Mientras que no haya dos procesadores que quieran comunicarse con un mismo procesador no habrá ningún problema. Este esquema es bastante caro y no merece la pena si no se hacen muchas conexiones simultáneas.

Figura: La importancia de la red. Barras cruzadas
Image barras_cruzadas
Las redes multietapa son más complejas. Para comprenderlas primero tenemos que comprender las cajas de conmutación. Las cajas de conmutación tienen dos entradas y dos salidas. Para un ejemplo las entradas se llamaran e1 y e2 y las salidas s1 y s2. Se pueden formar cuatro posibles configuraciones, según se relacionan las entradas con las salidas:

Se pueden dividir las redes multietapa en tres tipos:

3.2.3 Tecnologías de red

Van a verse las tecnologías de red más usadas en el clustering. Estas tecnologías son las mismas que imperan en el mundo de las redes locales de medio y alto rendimiento y son: Por supuesto estas no son las únicas tecnologías existentes, pero si que son las más comunes. Las comunicaciones a través de Token Ring o sus derivados quedan fuera de este tema.

3.2.4 Protocolos utilizados a nivel de red

Otro tema importante aparte de las topologías o tecnologías de red utilizadas son los protocolos que se adaptan mejor a sistemas cluster. Generalmente la tecnología de red de cluster más utilizada suele ser ATM o Ethernet y dado el precio de los dispositivos ATM suele ser normalmente la segunda.

En cualquier caso, el protocolo más extendido en el uso de las redes de cualquier tipo actualmente es IP (Internet Protocol). IP permite trabajar sobre cualquier tecnología de red, ya que es independiente del medio de comunicación físico. IP es un protocolo no orientado a conexión y no fiable que se basa en técnicas de el mejor esfuerzo (best effort) para encaminar sus paquetes. Esto es en cierto modo una ventaja, en el caso de que se utilice sobre redes no conectivas como pueden ser Ethernet, o una desventaja en redes ATM. En cualquier caso la adaptabilidad del protocolo IP a cualquier red mediante capas que actúan de interfaz permite situar este protocolo por encima de ATM, Frame Relay, Ethernet o redes LAN en general e incluso sobre líneas serie o paralelo.

El protocolo IP se encarga de cumplir los siguientes objetivos en una comunicación:

Es un protocolo ampliamente utilizado y con muchos años de uso. La práctica totalidad de los sistemas que se conectan a redes tienen alguna implementación IP ya sea completa o incompleta, lo que nos permite tener redes de equipos hetereogéneos. IP no es sólo un protocolo aislado, sino que trabaja en conjunto con otros protocolos como TCP para realizar transmisiones. Estos protocolos son ICMP e IGMP en el nivel de red3.9 y TCP y UDP en el nivel de transporte.

El protocolo ICMP (Internet Control Message Protocol) se encarga de mandar mensajes de control: errores en host, fallos de encaminamiento y mensajes similares, entre los host de la red. IGMP (Internet Group Message Protocol) se encarga de mantener actualizada la información relativa a la creación de grupos para la multidifusión, broadcast o multicast. El conjunto de estos protocolos dotan a la solución de una completa solidez en uso y funcionamiento.

El formato de bloques de IP no interviene en el factor de diseño de clusters, además, en el caso de IP, permite reducir bastante el tamaño de los paquetes que hay que enviar o ampliarlos al máximo de lo que nos permita la red. El esquema de direccionamiento tampoco es un problema para los clusters, aunque empieza a serlo a nivel mundial por la escasez de direcciones. Se espera que en poco tiempo la red vaya migrando a IPv6, en cualquier caso desde el punto de vista particular de los clusters el uso de IPv6 o IPv4 no tiene por que ser drástico e incluso puede favorecernos esta migración por hacer que los paquetes sean más configurables.

Respecto al encaminamiento y la fragmentación de los datagramas, permiten tener clusters diseminados por una geografía más extensa. Generalmente los clusters suelen localizarse en un mismo aula, edificio o entorno, pero existen problemas para los que pueden ser necesarias redes de área extensa para los que IP ya esta ampliamente comprobado y utilizado, como por ejemplo organizaciones internacionales o empresas multinacionales.

Este documento no pretende ser muy duro en cuanto a la teoría de redes. Lo básico para configurar la necesaria para interconectar nuestros nodos. Lo que sí es necesario es dar una explicación de porqué utilizar IP en clusters.

El principal motivo para utilizar IP es que en la mayoría de los casos y a pesar de que pueda consumir en muchos casos demasiado ancho de banda o capacidad de proceso, es mejor utilizar un protocolo comprobado y válido que uno a desarrollar para un sistema concreto.

Existen otros protocolos de red que se han utilizado para entornos distribuidos como pueden ser IPX/SPX, Appletalk u otros; e incluso algunas soluciones se han basado directamente sobre capas de nivel de enlace para efectuar las comunicaciones entre los nodos. GNU/Linux soporta sin problemas todos estos protocolos.

Figura: La importancia de la red. Encapsulamiento IP
Image encapsulamiento_ip

3.2.5 Protocolos utilizados a nivel de transporte (UDP/TCP)

3.2.5.1 Protocolos de transporte

Los protocolos de red están divididos por capas. En la subsección anterior se ha visto la capa de red, ahora se dará paso a las capas que existen a nivel de transporte: UDP y TCP.

La mayoría de los protocolos de transporte tienen elementos comunes. Los protocolos orientados a conexión deben tener mecanismos para establecer y liberar conexiones. Cuando hay múltiples conexiones abiertas en una misma máquina, las entidades de transporte tendrán que asignar un número a cada conexión y ponerlo en el mensaje.

En sistemas operativos UNIX y para la red ARPANET existen dos enfoques para saber a que puerto acceder a un servicio:

Otras de las características comunes de todos estos protocolos de nivel de red y que hacen este nivel tan útil es el control de flujo. Si por debajo del protocolo de red hay una red fiable (X.21) o nuestro protocolo no añade fiabilidad a la red (UDP) entonces no será necesario usar el control de flujo de la capa de transporte.

En otro caso el control de flujo es fundamental. El emisor tiene una copia local de cada mensaje que se envía por la red hasta el momento que es asentido, el receptor quizás no desee enviar un ACK (acknowledgement o asentimiento) de ese mensaje, o no recibió el mensaje correctamente; en esos casos el ordenador que está enviando los mensajes tiene que reenviar el mensaje, por ello la necesidad de tener una copia local.

Con este sistema el receptor puede limitar el tráfico que recibe simplemente tardando más tiempo en asentir los datos recibidos. Así cada uno de estos protocolos define unos temporizadores y unas reglas para no sólo controlar el flujo sino controlar que no se produzca congestión en la red.

Otro punto en común de todos los protocolos de transporte es que permiten la multiplexión y demultiplexión de las conexiones, para aumentar el ancho de banda y aprovechar mejor los recursos de los que se disponga.

3.2.5.2 UDP

Es el protocolo de transporte no fiable estándar en Internet. Como protocolo de transporte que es solamente está implementado en ordenadores finales, no en routers. Es un protocolo no orientado a conexión (de ahísu nombre, se envían datagramas) y no es fiable. La cabecera que incluye al mensaje es la mínima para poder distinguir a que puerto se dirige y un pequeño checksum de la cabecera. Es usado por las aplicaciones de los servicios no conectivos, para enviar pocos datos (se consigue más rendimiento puesto que no se necesita gastar tiempo en conectar y desconectar) y en multidifusión.

UDP al contrario de TCP no puede realizar fragmentaciones de los mensajes puesto que no tiene campos para ello. Por tanto es la aplicación quien debe dividir los mensajes como crea oportuno. Como la tecnología física de red también impone una restricción de tamaño máximo de paquete, otra división se realiza en el nivel IP; por tanto una aplicación que conociera la MTU evitaría esta segunda división. Cuando uno de los fragmentos de un mensaje UDP se pierde se tendría que retransmitir.

En el caso de UDP será la aplicación la encargada, gracias a unos temporizadores, de retransmitirlo. En el caso de TCP es él mismo el que detecta y soluciona e problema.

Como sabemos IP si no puede recomponer un datagrama, lo desecha, no tratando el problema y dejando la solución a capas superiores.

Algunos capas superiores que usan UDP son RPC y todos los aplicaciones que dependen de estos (DNS, NIS, etc.) y otras aplicaciones como pueden ser TFTP, BOOTP, DHCP.

3.2.5.3 TCP

Este protocolo junto con UDP son los dos protocolos de transporte estándar en Internet, es el protocolo fiable de la familia. Es un protocolo orientado a conexión. TCP recibe mensajes de cualquier tamaño y los divide en trozos de un máximo de 64KB se envía cada uno de estos trozos como un mensaje TCP separado. Para evitar fragmentaciones extra, TCP conoce la MTU de la red, con lo que se evita que el nivel de red tenga que dividir a su vez para acoplarse al MTU de la red.

También es misión de TCP ordenar todos los segmentos que hayan llegado separados y ensamblarlos para obtener el mensaje inicial. Tiene la ventaja de que las aplicaciones no tienen que preocuparse de tratar los errores de la comunicación puesto que para la aplicación el canal de comunicación es perfecto y siempre llega la información integra.

El que sea un servicio orientado a conexión quiere decir que hay 3 fases en la comunicación, que forman un mínimo de 7 mensajes sin contar los mensajes de datos:

Figura: La importancia de la red. Conexión TCP
Image conexion_tcp
TCP cada vez que envía un segmento inicia un temporizador. Si este temporizador cumple y no se ha recibido confirmación se vuelve a enviar el mismo segmento suponiendo que el anterior segmento enviado no llegó o llegó con errores. Como no se puede saber a ciencia cierta cuánto tardará un segmento a llegar a su destino, pues dependiendo del paquete podría pasar por una redes u otras, haber congestiones momentáneas, etc. se implementa un temporizador variable que irá cambiando según lo que tardaron los ACK de los anteriores segmentos.

La peor situación que le puede ocurrir a una red físicamente bien es que tenga congestión, por eso esta situación se intenta evitar a toda costa, y los protocolos orientados a conexión son mejores para evitarla, por eso TCP intenta hacer un control de congestión en Internet. Quien más rápidamente puede reaccionar ante la congestión es el emisor, por tanto cuando según acabamos de ver se cumple el temporizador de retransmisión hay error o hay congestión, como las redes actuales son de muy buena calidad es muy difícil que el error sea a causa del medio de transmisión por lo tanto el emisor supone que existe congestión con lo que envía los datos de forma más lenta, siguiendo un algoritmo, con esto se intenta que se alivie la congestión de la red.

Para controlar el flujo y la congestión se usa la ventana deslizante que permite enviar varios paquetes antes de que se envíe un ACK, enviar un ACK por cada paquete es realmente lento por lo tanto cuando se quiere disminuir la velocidad por el peligro de congestión o porque el receptor no puede recibir tantos datos la ventana disminuye dejando enviar menos paquetes por ACK, pudiendo llegar a ser 0, lo que significa que el receptor no puede en esos momentos recibir nada más. Cuando se quiere más velocidad se deja enviar más paquetes antes de parar para esperar un ACK.

3.2.6 Diseño de redes

A la hora de poner en marcha un cluster ya sea a nivel de producción como a nivel de investigación, hemos de tener en cuenta que uno de los factores críticos a la hora de configurar dicho sistema va a ser la red.

Antes de comenzar a instalar el sistema propiamente dicho, se debe hacer un estudio de que servicios o programas debe correr, y tener en cuenta cómo éstas van a afectar a la carga en la red. Este apartado es bastante importante en la instalación de redes por los siguientes motivos.

  1. El coste de instalacíon puede llegar a ser insignificante respecto al coste que puede llevar una ampliación en un sistema que ha sido mal diseñado desde un principio, tanto a nivel físico en la instalación (en la cual no entraremos) como a nivel de capacidad de la red.
  2. La mayoría de los clusters están montados sobre redes LAN, con protocolos UDP/IP o TCP/IP, generalmente no tienen ninguna manera de controlar la congestión de la red, lo que implica que la red debe estar lo suficientemente bien diseñada y montada como para que se produzca congestión sólo en casos excepcionales.
  3. Se debe tener en cuenta, que cuanto más acoplado sea un sistema en su funcionamiento, más crítica se vuelve la comunicación, por tanto mejor diseñada debe estar la red de comunicación.
  4. El coste que se produce al escalar un cluster, tanto económicamente como en tiempo no debe estar muy ligado al coste de escalar la red.
Como se puede ver, a lo largo de todo el proceso el funcionamiento de la red es crítico en cualquier sistema de tipo cluster, es más, no sólo es necesario un entorno de red adecuado para el sistema, sino que este debe estar en cierta manera infrautilizado para poder asegurar que no se va a llegar a condiciones de congestionamiento.

3.2.6.1 Factores a tener en cuenta al diseñar una red

A la hora de diseñar una red tenemos que tener claros ciertos conceptos acerca del sistema que queremos instalar, el funcionamiento que éste debe tener, los servicios que debe tener y sobre todo, la funcionalidad que se le va a dar.

Hay que conocer la funcionalidad del sistema:

Todos estos puntos quizá entren en el ámbito de la administración del sistema, pero son necesarios en el caso de partir de cero, con la primera instalación de un cluster. Lo que pretenden es que no haya problemas a la hora de tener claro que servicios o funcionalidades están por encima de que otras.

No existe ningún sistema cluster de carácter general, la mayoría de ellos se compone de varias aplicaciones trabajando juntas. Si estas aplicaciones deben acceder a recursos compartidos, hay que tener claras dos cosas: cuáles tienen más prioridad, y cómo obtener la prioridad. Por otro lado están los factores técnicos que afectan a los servicios que utilizará la red. Una vez que se sabe los servicios que poseerá el cluster es necesario describir el tipo de funcionamiento que tiene cada servicio y demás características.

Todos los factores técnicos deben estar referidos a cada servicio particular. Para usuarios expertos puede ser obvio que programas o servicios acaparan más la red o deben tener más prioridad, para alguien profano a ese servicio, o parte del sistema deberá rellenar solamente los factores teóricos que el crea oportunos.

A partir de este apartado, el diseñador de la red debe conocer cada uno de los servicios que la red va a utilizar tanto con conocimiento teórico como práctico para poder tener una visión generalizada. Esta visión debe ser tanto de como puede afectar este servicio a otros y al sistema en general como para tener los conocimientos necesarios para instalar el servicio sin que este provoque problemas de ningún tipo. Cuando un diseñador inexperto no haya instalado un sistema o un servicio de este tipo, lo conveniente es hacer uso de un entorno de simulación reducido en el cual hacer las instalaciones pruebas y verificaciones para después proceder a realizar extrapolaciones a un sistema grande, se ha de recordar siempre que la depuración de un error en un sistema distribuido crece exponencialmente con el número de nodos que tiene el sistema, y en el caso de que éste utilice varios servicios a la vez, el crecimiento de la complejidad crece más aún a medida que escala el cluster.

Cuando intervienen varios sistemas, todos ellos complejos y completos en un entorno distribuido, se debe tener el suficiente conocimiento de cada uno de los sistemas a montar como para asegurar que el conjunto de todos ellos no desestabilizara el funcionamiento de los otros.

El siguiente punto a tener en cuenta es hacer aproximaciones a las necesidades de red que se han extrapolado de cada servicio, y saber de que recursos se cuentan para satisfacer estas necesidades. En este punto, se debe exigir un equilibrio entre los recursos que se tienen y la efectividad de dicho funcionamiento.

Por ejemplo, en un entorno de trabajo con openMosix, NFSROOT y XWindow en un laboratorio de investigación científica probablemente se dé más importancia a la red openMosix que a el sistema de archivos NFS o XWindow. Así que probablemente se separen dichas dos redes como redes aisladas de manera que NFSROOT o X Window no interfieran sobre openMosix y al mismo tiempo openMosix esté aislado: sus paquetes de información de estado de cada nodo no interrumpirán las comunicaciones largas debido a colisiones cuando openMosix está en un estado sin migraciones.

En este caso no cuenta tanto el conocimiento del sistema, una vez que se conoce como puede llegar a cargar un servicio y de los recursos que se posee, el diseñador, coloca cada servicio en redes aisladas o interconectadas, intentando que interfieran cuanto menos mejor los servicios entre sí, en este apartado, se evalúan las tecnologías de red aplicadas a cada servicio asícomo de los medios de que se dispone para asegurar el funcionamiento y disponibilidad de los servicios. Por ejemplo, en el caso de Heartbeat, se suele utilizar como ya hemos visto un cable de serie de modem nulo, para asegurar que se produce una doble vía de comunicación entre los dos ordenadores que se desea replicar o controlar, e incluso el propio Heartbeat se encarga de comprobar la vía secundaria periódicamente para asegurar que esta estará disponible en el caso de que el sistema principal caiga.

3.2.7 Conclusiones

Como conclusiones de este tema hay que el sistema de comunicación es crítico en cualquier sistema paralelo, ya que al tener varios elementos de proceso (entiéndase por elementos de proceso a los procesadores, nodos, procesos, módulos, etc. que componen el sistema paralelo o distribuido), es necesaria la comunicación entre los elementos de proceso para realizar un trabajo conjunto.

En el caso de sistemas implementados en el kernel de un sistema operativo el fallo del sistema puede provocar el malfuncionamiento de una máquina y por tanto se puede requerir del reseteo de la misma.

Por último se han dado los puntos necesarios para diseñar una red correctamente, ya que generalmente cuesta más escalar un sistema mal diseñado con fallos respecto a los requerimientos iniciales que un sistema que sea bien diseñado y quizá sobredimensionado desde el principio.


miKeL a.k.a.mc2 2004-09-06