¿Qué es un DAG y cómo funcionan?

Grafo dirigido

DAG o grafo acíclico dirigido se define como un conjunto de vértices y aristas donde los vértices representan sistemas distribuidos resilientes (RDD), y las aristas representan la operación que se va a aplicar en el RDD. En el Spark Directed acyclic graph o DAG, cada arista se dirige de la anterior a la posterior en la secuencia; por lo tanto, en la llamada de la acción, los DAGs previamente creados se somete a la DAG Scheduler, que además divide un gráfico en etapas de la tarea. Spark DAG es la generalización estricta del modelo MapReduce. Las operaciones DAG pueden hacer una mejor optimización global que otros sistemas como MapReduce. El Apache Spark DAG permite al usuario sumergirse en la etapa y ampliar los detalles de cualquier etapa. En la vista de etapas del DAG, se desarrollan más los detalles de todos los RDDs pertenecientes a esa etapa. El Programador divide Spark RDD en etapas en función de las distintas transformaciones aplicadas.

El DAG comienza su trabajo en apache spark interpretando el código con algunas modificaciones, y el intérprete es la primera capa que utiliza un intérprete Scala. Además, Spark crea el grafo de operadores cuando se introduce el código en la consola de Spark.

Dag epidemiología

Un grupo de disponibilidad de base de datos (DAG) es un conjunto de hasta 16 servidores de buzón de Exchange que proporciona recuperación automática a nivel de base de datos ante un fallo de base de datos, servidor o red. Los DAG utilizan la replicación continua y un subconjunto de las tecnologías de clustering de conmutación por error de Windows para proporcionar alta disponibilidad y resiliencia del sitio. Los servidores de buzones de correo de un DAG se supervisan mutuamente para detectar fallos. Cuando se añade un servidor Mailbox a un DAG, ese servidor trabaja con los otros servidores del DAG para proporcionar una recuperación automática a nivel de base de datos de los fallos de la base de datos.

Cuando se crea un DAG, inicialmente está vacío. Cuando se añade el primer servidor a un DAG, se crea automáticamente un clúster de conmutación por error para el DAG. Además, se inicia la infraestructura que supervisa los servidores para detectar fallos de red o de servidor. El mecanismo heartbeat del cluster de conmutación por error y la base de datos del cluster se utilizan entonces para rastrear y gestionar la información sobre el DAG que puede cambiar rápidamente, como el estado de montaje de la base de datos, el estado de replicación y la última ubicación montada.

Gráfico Mst

Un DAG es un límite para la replicación de bases de datos de buzones, conmutaciones y conmutaciones por error de bases de datos y servidores, y un componente interno llamado Active Manager. Active Manager, que se ejecuta en cada servidor Mailbox, gestiona las conmutaciones por error y por error dentro de los DAG. Para obtener más información sobre Active Manager, consulte Active Manager.

Cualquier servidor de un DAG puede alojar una copia de una base de datos de buzones de cualquier otro servidor del DAG. Cuando se agrega un servidor a un DAG, funciona con los demás servidores del DAG para proporcionar recuperación automática ante fallos que afecten a las bases de datos de buzones de correo, como un fallo de disco, servidor o red.

Para obtener más información sobre la creación de DAG, la gestión de la pertenencia a DAG, la configuración de las propiedades de DAG, la creación y supervisión de copias de bases de datos de buzones de correo y la realización de conmutaciones, consulte Gestión de la alta disponibilidad y la resiliencia del sitio.

Los DAG aprovechan el concepto de implementación incremental, que es la capacidad de implementar la disponibilidad de servicios y datos para todos los servidores Mailbox y bases de datos después de instalar Exchange. Después de implementar los servidores de buzones de Exchange Server, puede crear un DAG, agregar servidores de buzones al DAG y, a continuación, replicar las bases de datos de buzones entre los miembros del DAG.

Dag frente a blockchain

Según Microsoft, Exchange DAG es un clúster de alta disponibilidad para servidores Exchange. Desde Exchange 2010, los usuarios pueden agrupar hasta 16 servidores de buzones dentro de un único DAG. Active Manager, la herramienta de gestión del DAG, replica las bases de datos de buzones y se encarga de los mecanismos de conmutación por error y conmutación por error.

El DAG replica las bases de datos de buzones entre los servidores de buzones. Cuantos más servidores se incluyan, más copias se podrán compartir en todo el grupo DAG. Como es típico en un clúster, también contiene un heartbeat, redes de clúster y la base de datos del clúster.

Si el servidor activo necesita una actualización de software, el administrador puede ponerlo fácilmente en modo de mantenimiento. El siguiente servidor pasivo en la línea se convierte entonces en activo. Como el servidor tiene todas las bases de datos actuales, el cambio no causa ningún problema. El nuevo servidor activo continúa replicando las bases de datos de buzones al resto de servidores pasivos. Cuando el administrador haya terminado con el mantenimiento, el servidor activo antiguo solicitará todas las bases de datos modificadas y podrá continuar con su trabajo.