Source: https://www.adx.host/serverstatus.php?view=resolved
Timestamp: 2018-12-13 12:53:25+00:00

Document:
Estado del Servidor - ACSYSTEM
0 Abierto 0 Programado 48 Resuelto Ver RSS
Inconveniente con licenciamiento (Resuelto)
Afectando Sistema - Licenciamiento Cpanel / varios nodos
El problema fue resuelto. Todas las licencias afectadas estan activas.
En este momento tenemos un inconveniente con la validación de licencia cpanel.
Las operaciones de webmail y cpanel estan temporalmente suspendidas, el resto de las operaciones funcionan normalmente.
Este inconveniente esta siendo escalado a nuestros proveedores.
Fecha - 18/08/2017 16:34
Ultima Actualización - 18/08/2017 19:50
(ADX-SCL) Nodo 3 VPS offline (Resuelto)
Afectando Sistema - Nodo virtualización
Estamos levantando los primeros vps, estamos notificando via ticket del alta de las maquinas en la medida se quedan activadas.
Nos encontramos aún copiando datos aun desde el storage de respaldo al nuevo nodo (servidor fisico)
Durante esta jornada se terminaran de copiar los datos desde el storage de backup, por favor considere que cada vps debe ser nuevamente configurado a mano para efectuar la asignación de ip´s y cambios en la configuración de whmcs requeridos para que responda en la nueva dirección ip.
Estamos instalando el sistema de storage de backup para hacer la recuperación de las maquinas afectadas. (11:15 pm )
Los datos en el arreglo de disco dañado se perdieron completamente. A pesar de las rutinas de reparación el volumen vmfs esta seriamente dañado al punto que no se puede montar al momento de iniciar el sistema.
En este punto estamos desplegando un servidor nuevo y conectando al sistema de storage de backup, las copias que aun mantenemos son las copias originales que se utilizaron en la ultima migración, algunas de las maquinas virtuales operaban directamente sobre este sistema de storage por lo que existe una posibilidad de que no perdieran datos.
Estamos a la espera de la instalación del servidor y su conexión al sistema de respaldo.
Un Falla en un arreglo de discos mantieen el nodo 3 localizado en el datacenter de santiago fuera de servicio.
En este momento personal de operaciones del datacenter esta verificando el estado del hardware.
En este momento se esta efectuando una reconstrucción del arreglo de discos (RAID).
Fecha - 02/08/2017 17:20 - 18/08/2017 16:34
Ultima Actualización - 04/08/2017 05:33
Afectando Sistema - VPS Infinity
Tenemos una falla reportada en el sistema de almacenamiento del nodo 3 de virtualización.
Se esta trabajando en un plan de recuperación. El tiempo estimado de resolución es de 12 horas. El tiempo podría aumentar en base a otras dificultades que se puedan encontrar durante los trabajos.
Operaciones ADX
Fecha - 27/06/2017 16:02 - 02/08/2017 17:23
Ultima Actualización - 27/06/2017 16:06
(ADX-SCL) RFO: Reporte de disrrupción. (Resuelto)
Afectando Sistema - Sistema de storage 8 Santiago
Reporte de causa de disrupción (RFO)
Lugar: Datacenter ADX Santiago 1 (ADX-SCL)
Servicios afectados: VPS Hosting Infinity
Sistema: Cluster x1
sub sistema: Storage 8
5:15 am: Se notifica alama en sistema de storage 8.
5:30 am: Primera verificación, constata perdida de acceso a los datos alojados en el storage, causando la detención de un grupo de servidores de clientes (60 servidores)
6:00 am: Primera fase de resolución de problemas agotada, escalamiento al area de operaciones.
7:00 am Detección de bloqueo de archivos a nivel del sistema de archivos (VMFS). Verificación de sistema de archivos. (20TB)
9:00 am Reinicio de vps alojados en storage.
11:00 am ciertos vps requieren verificación individual de sistema de archivos.
13:00 hrs. Normalización del servicio.
No esta determinada exactamente, dos nodos accesaron al mismo archivo simultáneamente (error de software) causando el bloqueo inmediato de todo el datastore. Las maquinas virtuales al no tener acceso a escritura de datos pasan a modo solo lectura y posteriormente requieren reinicio y verificación en algunos casos del filesystem.
Para determinar la causa del problema se requiere un mantenimiento programado y bajar la totalidad de los servicios del cluster y proceder a verificar los accesos al sistema de storage ruta por ruta. (48).
Se reseteo el bloqueo de archivos y se reiniciaron la totalidad de los servicios alojados en el Cluster X1 que fueron afectados por la disrupción del storage 8.
Un mantenimiento general tendrá que ser agendado para poder efectuar posteriores diagnósticos.
Clasificado como error de software de causa desconocida (aún).
ADX Hosting
Fecha - 03/03/2017 21:07 - 05/06/2017 14:09
Ultima Actualización - 03/03/2017 21:35
ASTRO Upgrade LSAPI (Resuelto)
Afectando Sistema - ASTRO
El área de operaciones esta desplegando una actualización de sistema operativo y de software manejador de PHP (Handler) para la plataforma ASTRO:
1-. Actualización de Kernel y software relativo al ambiente de virtualización liviano. (LVE).
2-. Instalación del nuevo modulo LSAPI (LiteSpeed) para el servidor WEB Apache.
3-. Cache optimizador para hacer más eficiente la ejecución del código PHP.
Estas actualizaciones incorporan mejoras en seguridad y eficiencia, mejorando el rendimiento de la las paginas basadas en php hasta 7 veces. (700% de mejora en los tiempos de respuesta y aumento de la capacidad de trabajo de cada cuenta de hosting ASTRO.). Por primera vez se puede combinar un alto nivel de aislamiento y seguridad individual de cuentas con un cache de ejecución, esta combinación no estaba disponible antes para el servidor web apache.
En las pruebas previas el único inconveniente detectado es la necesidad de re-seleccionar la versión de php en algunas cuentas de hosting que requieren el uso de librerías avanzadas de mysql para PHP, en estos casos los sitios mostraran un mensaje de error relativo a mysql y la solución es tan simple como re-seleccionar la versión personalizada de php desde el panel de control. Si necesita más información usted puede contactar a soporte vía ticket.
Nuestro personal estará efectuando pruebas sitio por sitio para determinar la necesidad de hacer correcciones desde el panel de control.
Depto Operaciones
ADX Networks.
Fecha - 28/06/2016 19:49 - 30/06/2016 00:00
Ultima Actualización - 23/10/2016 21:41
Migración Planes ASTRO (Resuelto)
Afectando Servidor - ASTRO AST23267scl
Las cuentas ASTRO que están operando en el servidor 200.2.232.67 serán migradas durante esta noche al servidor 200.2.232.24. Durante esta transición algunos de los correos que lleguen al antiguo servidor podrían retrasarse o ser rechazados y devueltos al remitente.
1-. Problemas con la versión de php. Se deberá hacer ajustes si la aplicación lo requiere, cambiando a la versión de php más adecuada. Si requiere ayuda con este item inicie un ticket.
2-. Problemas con webmail. A contar de octubre del año pasado solo soportamos roundCube como cliente de webmail en la plataforma ASTRO.
3-. DNS: los clientes que aun estén usando los servidores DNS cyberiainternet.cl deberán cambiar a los nuevos dns de uso general de ADX:
ns1.adx.cl ---> 200.2.232.9
ns2.adx.cl ---> 200.2.232.10
Departamento operaciones.
Fecha - 18/02/2016 22:36 - 28/06/2016 19:49
Ultima Actualización - 18/02/2016 22:43
Informe de UPTIME Enero 2016 (Resuelto)
Afectando Otro - Alive monitoring
Informe de UPTIME Enero 2016
Durante el mes de enero la nueva red ADX no a sufrido interrupciones de servicio, logrando un solido 100% de tiempo operacional.
UPTIME especifico de servicios:
PLATAFORMA ASTRO:
La plataforma ASTRO de hosting compartido no registro eventos significativos durante el mes de enero del 2016, registrando un uptime medido a intervalos de 2 minutos de 100% sin considerar micro paradas para mantenimiento.
PLATAFORMA Infinity VPS:
La plataforma Infinity no registro eventos durante el mes de enero, proporcionando un 100% de uptime en nodos, capa de virtualización y storage.
NOTA: esta medición no considera los eventos individuales cuyo origen esta localizado dentro del sistema operativo de cada vps alojado en la plataforma.
Servicio telefónico contact center:
100% uptime durante el mes de enero.
Servicio de chat en linea:
100% de uptime medido en el servicio de chat durante el mes de enero del 2016.
El portal de clientes registra un uptime de 100% en el periodo señalado.
Fecha - 10/02/2016 17:52 - 28/06/2016 19:49
Ultima Actualización - 10/02/2016 17:58
INFORME: Interrupcion Servicio VPS (Resuelto)
Afectando Sistema - Cluster X1 Phillips
Al rededor del medio dia se producto un bloqueo de un datastore (arreglo de discos) del sistema de storage DELL que sirve al cluster x1 (VPS Infinity) en el Datacenter Santiago PH
La falla se soluciono con un reseteo del datastore y un reinicio de los vps afectados.
Estamos investigando el origen de la falla que parece ser un error de software.
La falla de prolongo por unos 30 minutos. Tiempo adicional fue requerido para reiniciar las maquinas afectadas.
Fecha - 01/02/2016 20:35 - 01/02/2016 00:00
Ultima Actualización - 03/02/2016 20:39
Primera etapa de UPGRADE Plataforma ASTRO / M (Resuelto)
Afectando Sistema - Plataforma ASTRO hosting compartido
Hemos completado la primera etapa de un profundo upgrade en la plataforma ASTRO / Mercury de ADX
1-. Actualización de la arquitectura para lograr un mejor rendimiento en todos los servicios, cpanel, webmail, httpd apache, ejecución PHP/Mysql etc.
2-. Aumento del rendimiento relativo de cada sitio en un 1000% perceptible.
3-. Baja de la latencia del sistema de almacenamiento en un 400%.
4-. Mayor disponibilidad de recursos de cpu y memoria por sitio web. (Aumento en un 600%).
5-. Mejoras en redundancia de la red ip (ahora es red multihome via BGP con enlaces directos a diferentes ISP) y en la disponibilidad de ancho de banda por servicio.
6-. Integración con red CDN Global de CloudFlare lo que permite un aumento en el performance de un 200% adicional para aquellas cuentas que lo activen. Presencia global ahora más rápida y confiable!
7-. Mejora en la disponibilidad de los sistemas, ahora operara en modo full HA con fail over automatico en caso de falla (si falla un nodo, los clientes se lanzan automaticamente a otro nodo disponible).
Segunda ETAPA (diciembre 2015, marzo 2016):
Considera otras mejora que tendrán un impacto tremendo en el rendimiento que ya esta mejorado:
1-. Cambio de arquitectura de memoria en los sistemas brindara una aceleración de un 300% en las operaciones de memoria.
2-. Aumento de la cantidad de cpu del cluster ASTRO en un 35% con procesadores más rápidos, lo que supone mejoras perceptibles en otro 300%.
3-. Aceleración SSD en lectura. Nuestro sistema de storage incorporara un sistema de cache SSD para brindar lecturas de datos de hasta 500 mb/sec en todas las operaciones de I/O.
Estamos trabajando activamente para convertir a ASTRO de ADX en el sistema de hosting compartido más rápido, seguro y estable del país. Más de 30.000 usuarios se benefician diariamente de estas mejoras.
Depto de operaciones ADX Networks.
Fecha - 20/11/2015 20:27 - 28/06/2016 19:49
Ultima Actualización - 20/11/2015 20:39
Soporte para CloudFlare Instalado (Resuelto)
Afectando Sistema - Plataforma hosting ASTRO / Mercury
Ya esta disponible el soporte para la red CloudFlare. Este sistema CDN entrega aceleración global por medio de una red de 64 localizaciones en diferentes datacenter en America del normte, america del sur, Europa, Asia, oceania y Africa.
Para activar su sitio en CloudFlare debe ingresar a su panel de control, pinchar el icono CloudFlare en la sección CloudFlare, registrar su cuenta de correo de contacto y luego de 4 horas de periodo de actualización, su sitio estara corriendo potenciado por la red de aceleración CDN.
Para más información sobre cloudFlare: https://www.youtube.com/watch?v=tP4GW33Vvpw
También contacte a soporte@adx.cl
Fecha - 18/11/2015 00:04 - 28/06/2016 19:49
Ultima Actualización - 18/11/2015 00:10
Cambio en politicas de firewall (Resuelto)
Hemos modificado las políticas de bloqueo de firewall para todos los servicios ASTRO:
100 intentos erróneos, bloqueo temporal por 10 minutos.
Esperamos que esta medida minimice los errores por password no intencionales y los hits al firewall de aplicación mod_security.
Como siempre las ips bloqueadas podrán ser eliminadas desde el portal de clientes y desde solicitud vía ticket para usuarios validados.
Fecha - 30/10/2015 12:05 - 18/11/2015 00:04
Ultima Actualización - 30/10/2015 12:09
Actualización plataforma ASTRO (Resuelto)
Proceso de actualización plataforma ADX ASTRO.
Durante los últimos años el uso típico de los servicios de alojamiento web basados en Cpanel a cambiado de manera significativa. Por una parte la utilización preferente de sistemas de administración de contenidos (CMS) como componente base de la presencia web de nuestros usuarios demanda más recursos de cpu, memoria y acceso acelerado al almacenamiento de datos. Por otra parte el uso intensivo del correo incluido en este tipo de planes a vuelto a plataformas de hosting compartido como ASTRO en aplicaciones criticas, a pesar de que inicialmente no han sido concebidas como tales.
La mayor complejidad de las aplicaciones web ejecutadas por nuestros usuarios en nuestra plataforma supone mayores riesgos de seguridad, tal como se a demostrado por la gran casuística de ataques a vulnerabilidades localizadas en las aplicaciones CMS no actualizadas. Mejores mecanismos de seguridad y aislamiento de las aplicaciones a nivel del sistema de archivos son requeridos para mantener niveles aceptables de seguridad en esta plataforma que es compartida entre miles de sitios web.
Mejorar la administración y distribución de los recursos de procesamiento, memoria, ancho de banda, almacenamiento de datos y transacciones de disco asociadas se hace necesario para dar satisfacción a la mayor demanda por parte de los usuarios. Para garantizar una calidad de servicio consistente un rediseño de la arquitectura referencial del producto ASTRO fue efectuada.
Actualmente nos encontramos en la etapa de implementación de un upgrade requerido para aplicar la nueva arquitectura ASTRO. Diseñada por nuestro equipo de ingeniería (ADX LABS).
Mejorar el rendimiento de las aplicaciones web ejecutadas por los usuarios.
Mejorar el rendimiento del servicio de correo electrónico esencial incluido en el servicio.
Garantizar una entrega de recursos consistente y justa entre todos los usuarios.
Aumentar la seguridad y el aislamiento de los usuarios dentro del ambiente compartido.
Mejorar los niveles de uptime promediados en la plataforma.
nivel Infraestructura:
Cluster de alta disponibilidad virtualizado sobre Hypervisores.
Storage Central redundante con discos de alta velocidad en arreglos redundantes (RAID).
Conectividad redundante a Internet vía múltiples enlaces (Multihome).
Aceleración de lectura de datos calientes vía Cache discos FLASH. (SSD, hasta 20X aceleración).
Cache de deduplicación de archivos para optimizar el uso del almacenamiento de disco.
Sistema de archivos virtual para cada usuario, total aislamiento del sistema operativo y otros usuarios.
Control de recursos de cpu, memoria, i/o de disco y ancho de banda por cada cuenta.
Soporte para múltiples versiones de PHP controladas de manera individual por cada usuario via panel de control.
Limite de IONODOS, esta tecnología permite limitar el abuso de recursos de disco por parte de cuentas, en particular evitar el uso de las cuentas de hosting para fines diferentes al alojamiento de sitios web dinámicos o estáticos.
Control de recursos empleados sobre bases de datos Mysql.
Mejores tiempos de respuesta en la carga de sitios web dinámicos o estáticos.
Mejores tiempos de respuesta en el uso del correo.
Contención automática de casos de abusos de recursos.
Más estabilidad del servicio.
Mejores niveles de seguridad.
La totalidad de las cuentas de hosting serán migradas en caliente a servidores actualizados durante horarios de baja ocupación (noche). Al iniciar la copia, se suspenderán las operaciones de FTP y la llegada de nuevos correos, estos serán alojados temporalmente en el servidor de destino mientras se completa la copia, una vez terminado el proceso de copia, actualizados los registros dns, los correos que arribaran durante el proceso serán despachados.
La totalidad de los servidores se dividieron en 3 grupos. Cada grupo será migrado sistemáticamente, servidor por servidor, cada noche de cada día durante todos los Dias del mes de septiembre.
Las cuentas migradas a nuevos servidores responderán a una nueva ip en un nuevo segmento de red.
Una vez completo el proceso de copia, confirmado que la cuenta responde en el servidor de destino, se eliminaran los contenidos de origen, eventualmente el servidor de origen será también eliminado.
Efectos colaterales sobre el servicio y requisitos de la nueva plataforma:
1-. Todas las aplicaciones PHP que corran sobre los nuevos servidores deberían ser compatibles con alguna de las versiones de PHP soportadas, es responsabilidad de cada usuario hacer los ajustes de versión y soporte de extensiones PHP en su panel de control en el caso de que su aplicación no sea compatible con la ultima versión de php instalada con la configuración por defecto. La version nativa (base) de PHP instalada es PHP 5.4.44
2-. El uso de las llamadas variables globales en la programación de sitios que usan php esta “deprecada” de manera definitiva. Aplicaciones y particularmente formularios de contacto programados de esta manera no funcionaran. Es responsabilidad de cada usuario mantener sus aplicaciones actualizadas para ser compatibles con las versiones de PHP vigentes.
3-. El soporte para extensiones de MICROSOFT FRONT PAGE esta discontinuado de manera definitiva.
4-. Se a implementado de manera predeterminada el firewall de aplicación mod_security. El set de reglas a utilizar de manera predeterminada es el ofrecido por SpiderLabs. Los usuarios que no deseen operar con la protección del firewall de aplicación podrán desactivarlo bajo su propio riesgo. Asumiendo la responsabilidad de las eventuales brechas de seguridad sobre sus aplicaciones web y sobre el resto de los usuarios de la plataforma en el caso de eventos de spam desde aplicaciones php, sobrecargas, ataques DoS, etc.
Nuestra recomendación es investigar la compatibilidad entre sus aplicaciones web y las reglas de seguridad de libre disponibilidad preparadas por spyderLabs “OWASP”, los códigos y módulos incompatibles deberían ser descartados y reemplazados por código actualizado.
Durante el proceso de adaptación, es posible desconectar la protección del firewall de aplicación de manera temporal. No recomendamos desactivarlo de manera permanente.
5-. Listas de correo mailman
Las listas de correo mailman y sus contenidos no son posibles de migrar a la nueva versión de cpanel.
6-. Cuentas de correo y contenidos de las cuentas de correo.
Todos los contenidos de las cuentas de correo y los perfiles de configuración de web mail son migrables. En la mayoría de los casos no será necesario efectuar ajustes. Las cuentas imap podrían requerir una re-sincronización de los clientes de correo.
El uso de autenticación para enviar y recibir es obligatorio.
Algunos clientes de correo “ancestrales” podrían presentar problemas de compatibilidad con los estándares de referencia del Internet Task Force (RFC). Actualizar sus sistema operativo y sus aplicaciones de correo a las ultimas versiones disponibles es recomendado.
Algunos programas clientes de correo Microsoft ya obsoletos podrían requerir volver a configurar las opciones de “autenticación para enviar” esto significa enviar clave de acceso para enviar correos, tal como se hace para descargar.
Recomendamos utilizar encriptación en al medida de lo posible en todos los clientes de correo, en particular si usa el correo desde redes publicas como servicios WIFI de libre acceso.
7-. Medidas de seguridad estándares:
Como es ya una tradición contamos con medidas de seguridad en varios niveles:
Bloqueamos ataques y actividades sospechosas o abusivas que sean significativas de manera selectiva,bloqueando redes /24 o superiores, bloqueamos listados completos de redes de mala reputación a nivel global, en particular proxys anónimos. Este bloqueo es a nivel de nuestra red completa y tiene efecto sobre todos los servidores de la flota.
Firewall a nivel de servidores
El firewall local de cada servidor efectúa bloqueos reactivamente en el caso de abusos detectados, estos incluyen: demasiados errores de contraseña en cualquier servicio que requiera login, ataques de fuerza bruta, ataques DoS, ataques sobre las aplicaciones web reportados por Mod_Security. Escaneo de puertos, conexiones abusivas sobre el servidor.
Firewall de aplicación a nivel del servidor web:
no permitimos la ejecución de código vulnerable a través de nuestros servidores web. El codigo vulnerable o el código obsoleto será detenido con un error de servidor previniendo de esta manera ataques de inyección de código
Resolución DNS segura potenciada por OPENDNS by Cisco (Proyecto Umbrella):
no resolvemos dominios que presentan problemas de seguridad o han sido sindicados como emisores de spam o alojan código malicioso o ataques de phishing. Esta tecnología previene el establecer comunicaciones con recursos de internet inseguros, incluyendo servidores bloqueados por spam y servidores web inseguros.
Escaneo de contenidos:
Dentro de los servidores escaneamos el contenido completo en busca de código malicioso, contenido ilegal, virus, troyanos. Inicialmente el contenido será removido de la cuenta de manera automática y en caso de no poder ser eliminado, la cuenta será suspendida hasta que el usuario responsable pueda tomar medidas adecuadas. Este ultimo caso ocurre cuando el código malicioso a sido insertado dentro de las aplicaciones del cliente y no es posible eliminarlo sin afectar el funcionamiento de las aplicaciones.
Los contenidos como películas y música con derechos de autor que sean detectados pueden ser eliminados de manera automática. Si usted es un artista y aloja contenido con derechos de autor debe contactar a nuestro centro de soporte para validar la presencia de sus archivos de audio y video. Si usted usa contenido multimedia como videos corporativos de su autoría y usa música libre de derechos este contenido no será tocado. Si usted aloja música para mejorar la experiencia de sus usuarios debe contar con un convenio de derechos con SCD para poder utilizarla en linea. Esta misma regla se aplica a videos institucionales con música que posee derechos de autor vigentes.
Flujo de correos electrónicos:
El limite de correos emitidos por un dominio es de 150 mensajes por hora.
En el caso de los planes ASTRO 3 este limite es de 300 mensajes por hora.
El abuso de estos limites puede generar limitación temporal en el despacho de correo. Generalmente esta limitación es igual o inferior a una hora. Estos limites estan fijados en base a estadísticas de uso de decenas de miles de usuarios durante los últimos 36 meses y representan un fujo suficiente para más del 99% de los usuarios de este tipo de productos.
Se han establecido controles de trafico que garanticen un acceso equitativo y de calidad a todos los usuarios con la menor latencia posible. Ciertas actividades de consumo abusivas con respecto al ancho de banda podrán ser automáticamente reguladas para que no afecten a la comunidad de usuarios. Los sitios con trafico excesivo o de características abusivas pueden ser regulados de manera que su operación no afecte el derecho de la comunidad de clientes, en estos casos el cliente podrá optar a migrar a otro producto o comprar paquetes de ancho de banda.
Nuestro ancho de banda es de alta calidad en una red redundante y como tal es un recurso costoso, nuestra misión es ofrecer los mejores niveles de disponibilidad posible a todos los usuarios privilegiado el uso equitativo de los recursos de manera que todos los usuarios puedan disfrutar de una experiencia de calidad.
Fecha - 02/09/2015 22:44 - 02/08/2016 19:10
Ultima Actualización - 02/09/2015 22:48
ADX INFORMA: Trabajo programado miercoles 15 (Resuelto)
Afectando Otro - DATACENTER
De acuerdo al calendario de trabajos que hemos anunciado anteriormente, esta semana corresponde un trabajo prolongado de reubicación de equipos que se desarrollara de la siguiente manera:
1-. 15 de Julio a las 20:00 hrs: Baja de todos los servicios alojados en nuestro site de Santiago, Datacenter Magnus 1.
Se procederá a bajar todos los servidores alojados en nuestra infraestructura localizada en Magnus 1. Todos los servicios estarán inactivos hasta el momento en que finalice la reubicación de los equipos, los chequeos de hardware y diagnostico.
2-. 21:00 hrs. El equipo de operaciones comenzara con el proceso de reubicación de los equipos.
3-. 00:00 hrs 16 de Julio: El equipo de operaciones comenzara con el montaje de los sistemas en su nueva ubicación.
4-. 3:00 hrs. 16 de julio: El equipo de operaciones efectuara verificación de configuraciones y chequeos previos a la puesta en marcha.
5-. 6:00 hrs 16 de julio: Los servicios comenzaran a ser reiniciados en la nueva ubicación física.
6-. 8:00 hrs 16 de julio: Los servicios deberían completar el proceso de inicio y estar en condiciones operacionales.
Fecha - 15/07/2015 20:00 - 02/09/2015 22:48
Ultima Actualización - 14/07/2015 17:19
Perdida de Conexión a Storage (Resuelto)
Afectando Sistema - Servidores 69, 70, 73, 76, 75, 77
El día de hoy Martes 5 de Mayo de 2015 y durante 1 hora, existió una desconexión a uno de nuestros storage el cual se encontró bloqueado para el acceso y lectura, debido a esto no era posible acceder a los servidores que se encontraban en el nodo, actualmente el inconveniente se encuentra solucionado.
A esta hora se investiga al servidor principal que mantuvo incomunicado al nodo por algún proceso que afectó la estabilidad de los servidores anteriormente mencionados.
Se informará dentro del día los resultados de esta investigación.
Fecha - 05/05/2015 09:13 - 05/05/2015 10:25
Ultima Actualización - 11/05/2015 14:42
(ADX-SCL) Mantención Red Storage (Resuelto)
Afectando Sistema - Clusters X1 y X2
El día de ayer se presento una intermitencia en las comunicaciones de nuestra red de almacenamiento que afecto el funcionamiento de nuestros clusters localizados en el datacenter magnus en ciudad empresarial.
Nuestro equipo de ingeniería resolvió temporalmente el problema logrando levantar la totalidad de los servicios virtualizados en el transcurso del día. Sin embargo deberemos ejecutar una ventana de servicio de emergencia para realizar una revisión exhaustiva del sistema durante la noche del sábado y madrugada del día domingo.
Nuestra red de storage posee 10 unidades San con más de 150 discos y esta conectada a través de 24 enlaces de alta velocidad con 48 rutas lógicas para redundancia. La verificación de todo este sistema demandara aproximadamente 12 horas de trabajo, periodo en el cual tendremos varias interrupciones en el servicio. Para minimizar el impacto de la ventana de servicio nuestro equipo trabajara en dos etapas de manera de no afectar a todos los servicios simultáneamente.
Aprovechando la ventana de servicio hemos decidido adelantar una mantención general de equipos por lo que utilizaremos el tiempo de servicio paralelamente para reemplazar algunos equipos de manera preventiva, certificar los enlaces espejo en nuestra instalación en buscar de problemas de comunicación y efectuar un upgrade completo del software core de todo el sistema.
Debido a la complejidad de estas tareas podría ser preciso realizar una segunda ventana de mantenimiento fuera de los horarios laborales, en ese caso la hora y extensión del periodo de servicio serán comunicados oportunamente.
La ventana de servicio esta fijada entre el día sábado 11 de abril a las 18:00 hrs y el domingo 12 a las 06:00 hrs.
Fecha - 11/04/2015 19:00 - 12/04/2015 05:00
Ultima Actualización - 05/05/2015 13:25
Inconvenientes en nodo (Resuelto)
Afectando Sistema - Nodo
El inconveniente se debió a un error en la tarjeta madre del nodo 28 el cual afectó a algunos del servidores haciendo perder la conexión de estos. Actualmente los servicios se encuentran activando uno a uno, por lo cual el tiempo final de resolución es a las 11:30am del día de hoy.
Un inconveniente en uno de los nodos, ha mantenido a algunos clientes con intermitencia en sus servicios. Recordamos que un nodo es un punto de intersección , conexión o unión de varios servidores que confluyen en el mismo lugar. En este caso cada uno de los servidores afectados no tienen conexión con dicho nodo momentáneamente. Nuestro personal de operaciones se encuentra diagnosticando y solucionando el inconveniente.
Este caso fue solucionado.
Fecha - 09/10/2013 09:00 - 09/10/2013 11:15
Ultima Actualización - 15/10/2013 12:11
(ADX-SCL) Estado de Alerta Amarillo (Segurida (Resuelto)
Afectando Otro - (ADX-SCL) Santiago Datacenters
Debido a las amenazas de ataque por parte del grupo activista Anonymous, hemos determinado poner a todo nuestro personal en alerta Amarilla durante el resto del día de hoy.
Este nivel de seguridad implica las siguientes medidas:
1-. No procesaremos ordenes de trabajo del área de ingeniería a menos que sean de carácter urgente, el personal de ingeniería estará en dedicación exclusiva a la contingencia.
2-. Esta suspendido el trafico de VPN en varios proveedores de Internet en Chile. Estamos a la espera de un informe de algunos de nuestros proveedores y asociados.
3-. En el caso de un evento de ataque DoS, tenemos instrucciones de bajar todos los sistemas atacados en forma inmediata.
4-. Todas las actividades de upgrade, downgrade que requieran intervención de personal de ingeniería serán suspendidas.
5-. El desbloqueo de IP serán suspendidos hasta que se levante la Alerta.
A esta hora no se registran eventos atribuibles a Ataques externos.
NOC-GCC
Fecha - 30/07/2012 13:08 - 16/08/2012 11:28
Ultima Actualización - 30/07/2012 13:16
(ADX-SCL) Interrupción de servicio nodo 24 d (Resuelto)
Afectando Sistema - Cluster X2, DC Magnus 1, SCL
El día Miércoles 25 de Julio aproximadamente a las 20:30 hrs se registro un evento de falla que afecto a varios Cloud Servers localizados en el nodo 24 De nuestro Cluster X2. En este evento varios cloud servers perdieron conexión al almacenamiento de disco.
Una investigación más profunda revelo que se perdió la conectividad temporalmente con el datastore debido a que la ruta se congestiono con la actividad de uno de los cloud servers. Usualmente este tipo de situaciones no ocurre pues las máquinas virtuales tienen limites de acceso a disco que son cautelados por un sistema de provisión de recursos. Por alguna razón los limites de uso de recursos no impidieron que este cloud serevr tomara todo el ancho de banda de la ruta, dejando temporalmente a todas las demás máquinas sin acceso al Datastore 9 fuera de linea por algunos segundos.
Para resolver el problema fue necesario efectuar un hard Reset del nodo y una verificación física fue efectuada en horas de la noche, para eso despachamos un ingeniero específicamente a verificar este sistema.
No se registraron daños a sistemas de archivos o similares.
Este caso fue resuelto
Fecha - 27/07/2012 12:53 - 30/07/2012 14:31
Ultima Actualización - 27/07/2012 13:01
(ADX-SCL) Mantención circuito B de energia. (Resuelto)
Afectando Otro - Site Magnus / Clusteres de sistema ADX_Cloud
Trabajo programado: Mantención de circuitos electricos, aumento de potencia.
FECHA DE INICIO : domingo 25 de Marzo HORA DE INICIO : 00:00 hrs
FECHA DE TERMINO : domingo 25 de Marzo HORA DE TÉRMINO : 06:00 hrs
Para mantener la eficiencia energética de Magnus I se realizarán trabajos en la infraestructura eléctrica.
Este trabajo corresponde a la segunda etapa de la intervención de las barras de entrada de energía principal y redundante, siendo la barra “B” en esta ocasión, en donde se conectará una nueva UPS con su respectivo banco de baterías.
Para este trabajo, se desarrolló un procedimiento detallado de todas las actividades necesarias que tienen la finalidad de mantener la seguridad de los participantes de esta labor y mantener activos todos los servicios. No obstante, todo trabajo eléctrico tiene riesgos implícitos que podrían afectar los equipos energizados en el sistema a intervenir, y en este caso los riesgos asociados son los siguientes:
Nombre del Riesgos Impacto Probabilidad Riesgo
Caída de Circuito B Medio (*) Bajo Bajo
Aumento Moderado de Temperatura Medio Bajo Bajo
(*) solo afectaría el circuito b
En el caso de un corte en el circuito B solo ciertos sistemas podrian ser afectados, produciendo interrupción temporal de servicios ó activación de proceso de failover en nuestra red, para garantizar la estabilidad de los clusteres ante este evento estamos preparados para reiniciar toda la red en el caso de constatar una inestabilidad que no pueda ser recuperada de manera automatica.
Durante la semana en curso efectuamos una auditoria para verificar el balanceo de la carga eletrectrica sobre los circuitos A y B, asegurando la redundancia de energia entre los sistemas criticos.
Para mayor seguridad un equipo de operaciones estara de guardia para monitorizar los clusters de manera de poder reaccionar de forma inmediata ante un comportamiento anornal.
NOTA: Este evento no representa interrupción de servicio necesariamente, unicamente un riesgo mayor de caida con respecto a un estado normal.
Fecha - 25/03/2012 00:00
Ultima Actualización - 23/07/2012 10:52
(ADX-SCL) Falla de software en nodo 23, clust (Resuelto)
Afectando Sistema - ADX Cloud - SCL CX2
Aproximadamente a las 21:00 hrs. Se detecto una falla de software causada por una sobrecarga en un servidor de hosting compartido. Este falla de software afecto el funcionamiento de las operaciones dentro del nodo 23 impidiendo la migración de maquinas virtuales y otras operaciones. Dentro del nodo 23 operaban aproximadamente 17 servidores virtuales al momento del incidente.
Luego de un diagnostico exaustivo determinamos reiniciar el nodo 23 en forma forzada y reubicar las maquinas virtuales afectadas en otros nodos con capacidad disponible.
Luego del reinicio del nodo 23, el dianostico mostró operación normal, por lo que fue ingresado nuevamente al cluster y se le asigno dinamicamente carga hasta volver a la carga nominal.
El diagnostico preliminar asocia el evento con el colapso de dos servidores de hosting compartido, 101 y 79, aun no tenemos información que pueda brindar un dato concreto, asumimos que se trata de un error de software.
Este caso esta cerrado.
En el caso de que fueran afectados por este incidente, sos titulares de maquinas virtuales deben verificar sus servidores por cualquier eventualidad.
Fecha - 05/05/2012 23:48
Ultima Actualización - 05/05/2012 23:56
(ADX-SCL) Interrupción de servicio Datastore (Resuelto)
Afectando Sistema - SAN - ADXMagnus 1 - Datastore 8
El dia de hoy una falla fue reportada a nuestro NOC aproximadamente a las 9 am. El inconveniente afectaba a todos los servidores o sistemas con recursos alojados en el datastore 8, SAN ADXMagnus 1.
La verificación de Datastore concluyo con que el espacio disponible en almacenamiento de disco estaba agotado.
Se procedio a trasladar los datos de algunas maquinas hasta consolidar el espacio necesario para la normal operación.
El origen de este problema esta relacionado con un los reportes de ocuación de espacio, los informes no estaban actualizados y por lo tanto no habia noción de que el espacio de almacenamiento del Datastore 8 estaba a punto de estar completamente utilizado.
Medida correctiva: El informe del uso de espacio en los datastores en producción sera verificado dos veces a la semana para monitorizar el avance porcentual en la ocupación de datos.
Fecha - 24/04/2012 09:00 - 24/04/2012 12:00
Ultima Actualización - 24/04/2012 16:04
(ADX-SCL) Amenaza de troyano (Resuelto)
Afectando Otro - Servicio correo / Escritorios
Durante los últimos 5 días hemos sido testigos de la proliferación de un software malicioso (troyano), el cual aun no esta plenamente identificado y que amenaza a computadores con sistema operativo Windows. Este troyano ha estado robando passwords desde las aplicaciones de correo para luego ponerlas a disposición de una red de envío de mail con el propósito de despachar grandes volúmenes de correo electrónico no deseado.
Como resultado de la acción de este troyano no identificado, muchas cuentas de correo de clientes han permanecido enviando mail sin control. Para poder detener la expansión de este problema, tomamos la determinación de suspender cualquier cuenta de hosting que presentara este problema hasta poder entrar en contacto con el administrador.
Esta amenaza puede ser neutralizada utilizando algún antivirus comercial debidamente actualizado al día. Como se trata de una amenaza nueva, esta siendo detectada gradualmente en la medida que el incidente se propaga. En los últimos días mcafee presento un registro de troyano que podría tratarse de la misma amenaza que estamos experimentando y además publico una lista de los nombres bajo los cuales es conocido en otros productos antivirus relevantes en el mercado:
compañía y nombre bajo el cual se conoce el troyano:
avast Win32:Zbot-NRC
AVG (GriSoft)PSW.Generic9.APFM (Trojan horse)
aviraTR/Hijacker.Gen
KasperskyTrojan-Spy.Win32.Zbot.diej
BitDefenderGen:Variant.Kazy.1779
clamavTrojan.Spy.Zbot-142
Dr.Web BackDoor.Qbot.81
F-ProtW32/Zbot.BR.gen!Eldorado
FortiNetW32/Zbot.DS!tr.spy
MicrosoftPWS:Win32/Zbot.gen!Y
Symantec Trojan.Zbot!gen19
Eset Win32/Spy.Zbot.YWnormanW32/Zbot.VAL
SophosTroj/PWS-BSF
Trend Micro TSPY_ZBOT.SMIGvba32SScope.Trojan.FakeAV.01110
V-Buster TrojanSpy.Zbot!NnHgntcZaqY (trojan)
Vet (Computer Associates)Win32/Zbot.CXZ
El sitio de MCAFEE muestra detalles de este troyano:
http://www.mcafee.com/threat-intelligence/malware/default.aspx?id=997964
Para poder lidiar con esta situación hemos establecido el siguiente protocolo:
1-. Todo servicio que sea detectado enviando mensajes con un patrón anormal, masivo o sospechoso sera inmediatamente suspendida, un reporte sera generado vía ticket explicando la evidencia y las circunstancias.
2-. Para reponer el servicio, el cliente deberá entregar las garantías de que la infección sera controlada ó al menos él o los equipos afectados retirados de servicio hasta que una solución definitiva pueda ser aplicada.
3-. Los casos reincidentes serán nuevamente suspendidos y nuevamente notificados, en cada caso se requiere que el cliente se comprometa a verificar sus sistemas por escrito, enviando respuesta al email generado por el ticket, o respondiendo directamente el ticket desde el portal de clientes.
4-. Aquellos casos en que por tercera vez detectemos la misma infección deberán cancelar un costo de reposición de 10 UF para poder solventar los costos de reposición del servicio y la limpieza del servidor afectado (3 a 10 días de trabajo).
Recomendaciones de seguridad inmediatas para nuestros clientes:
1-. Su ficha ADX actualizada: Mantenga actualizados sus datos de contacto en nuestro portal de clientes. Debe ingresar direcciones de correo diversas que permitan enviar notificaciones a pesar de que su servicio pudiera estar desactivado. Mantener sus datos de contacto actualizados y vigentes es su responsabilidad.
2-. Antivirus comercial: Actúe de inmediato, cada computador en su red debe contar con un sistema de protección antivirus actualizado. Recomendamos un sistema antivirus comercial y con licencia que permita actualización DIARIA. La verificación de los sistemas debe ser frecuente. Por favor adquiera una licencia de antivirus por cada computador que va a entrar en contacto con nuestros servidores.
3-. Mantenga su software de escritorio actualizado. Las versiones nuevas de cada programa incluyen también mejoras en la seguridad y confiabilidad del software, a modo de ejemplo operar con software obsoleto supone un riesgo de seguridad implícito, en particular aquellos sistemas operativos que llegaron al fin de su vida útil o que están apunto de ser discontinuados por el fabricante.Operar con sistemas operativos Windows sin una licencia valida supone un riesgo por que dichos sistemas no reciben actualizaciones completas de todos sus paquetes de software de manera automática.
4-. Los riesgos de seguridad generados en los escritorios son completamente responsabilidad de nuestros clientes, nuestra compañía no puede evitar el impacto de amenazas originadas en brechas de seguridad ocurridas en el entorno de la red de cada cliente más solo podemos efectuar recomendaciones. Por esta razón hemos determinado hacer efectivas las condiciones de uso con respecto a las amenazas de seguridad generadas en aplicaciones de clientes y en la interacción de sistemas infectados con nuestra red. En todos los casos aplicaremos una suspensión preventiva cada vez que sea necesario, de manera inmediata y mantendremos los servicios suspendidos el tiempo que sea necesario hasta que los problemas de seguridad y/o abuso sean resueltos a nuestra entera satisfacción. Esta es la única forma de proteger y alertar a nuestros clientes cuando algo anormal ocurre con su cuenta.
5-. Los sistemas dedicados administrados por nuestros clientes deberán contar con políticas de seguridad afines, en el caso de que una brecha de seguridad generada por el escalamiento a través de un sistema operado por un cliente ocurra, solicitaremos cuando corresponda el pago de las horas hombre empleadas en recuperar la integridad de los sistemas afectados.
Fuerza de tarea de Seguridad
Fecha - 03/04/2012 14:16 - 23/07/2012 10:27
Ultima Actualización - 03/04/2012 14:17
(ADX-SCL) Corte en red de acceso. (Resuelto)
Afectando Sistema - Backbone red Santiago
Aproximadamente a las 10:46 am se registro una caida de la conectividad en el backbone de la red ADX en Magnus. El diagnostico fue efectuado rapidamente: una regla de seguridad aplicada de manera accidental a uno de los puertos de acceso principales causo la interrupción de las comunicaciones entre la red de distribución y el router de core.
Solución: 11:08 am el servicio fue reestablecido volviendo todas las comunicaciones a su estado normal.
A esta hora todos los servicios de red estan normalizados en el site de Magnus I.
Fecha - 23/03/2012 10:46
Ultima Actualización - 23/03/2012 12:15
(ADX-SCL) Falla de energia circuito A Magnus (Resuelto)
Afectando Sistema - ADX Cloud - SCL
Actualzación: Informe proveedor Netglobalis: http://delta.adx.cl/contentroot/dl.php?type=d&id=3
Sistema: ADX CLOUD
Tipo de falla: Integridad de grupos de discos en Matriz de Almacenamiento.
Tiempo total de de la Falla: 25 horas.
Servidores Afectados: 219
Aplicaciones afectadas: Entre 4000 y 5000
Usuarios finales afectados: 20.000 - 30.000
A las 3 am del dia domingo 11 de Marzo se registro una interrupción de la energia en un circuito de alimentación (A) afectando a dos nodos del cluster x1 (ADX CLoud)y a uno de los controladores del sistema de storage ADXMAGNUS. Como resultado de la interrupción perdimos acceso al controlador 1 de este sistema de almacenamiento, el cual se encontraba en plena tarea de restauración de un grupo de discos que habia perdido la integridad (falla de disco).
Como parte del procedimiento de puesta en marcha del cluster, se efectuo el apagado de todos los sistemas afectados y un reinicio completo de la red. Al iniciar el sistema ADXMAGNUS, este desmonto los grupos de disco por seguridad de manera automatica y fue necesario iniciar un ticket de incidente al soporte de sistemas empresariales de DELL para un diagnostico.
En conjunto con Dell se levantaron los antecedentes del sistema para elaborar un plan de recuperación que fuera luego ejecutado por los ingenieros de turno en Chicago. El plan de recuperación se comenzo a ejecutar a las 11 pm del dia domingo 11, terminando el proceso de montaje de discos a las 5 am del dia lunes 12 de marzo.
Luego de volver los grupos de discos a linea se recomenzo el proceso de recuperación de los arreglos degradados, comenzando a las 5 am del dia lunes y terminando a las 4:00 pm aproximadamente, tambien del dia luenes 12 de marzo.
A contar de las 4:30 pm logramos levantar 219 servidores de manera estable.
Hasta este momento la red esta operando de manera normal y estable.
Este caso fue cerrado.
Fecha - 11/03/2012 00:00 - 12/03/2012 00:00
Ultima Actualización - 16/03/2012 18:58
(ADX-SCL) Ataque informatico afecta sistema d (Resuelto)
Afectando Otro - Plataforma de hosting compartido (SCL)
Atención: No todas las cuentas podran ser recuperadas con datos, existen muchos sitios que estan activos, con nuevas contraseñas entregadas via email pero no se registra ninguna actividad sobre ellos desde el dia 7 a la fecha. Asumimos que los usuarios estan esperando la eventual recuperación de sus datos o no estan recepcionando nuestros correos. Los sitios no son reactivados hasta que estan en la etapa definitiva de la verificación, es decir que si la cuenta esta vacia y activa es por que no a sido posible recuperar ningun contenido. En estos casos solo resta tomar el control de la cuenta y comenzar a utilizarla.
---------Actualización -------------
(9 marzo 3:13am)
A esta hora nos encontramos trabajando en el seguimiento de tickets de reposición de servicios afectados por el incidente del dia 4 de marzo. Los trabajos se realizan en 2 turnos, Con participación del equipo de Chile y el de Estados Unidos.
la totalidad de los servidores afectados por el ataque se encuentran operativos y un mayoritario porcentaje de las cuentas afectadas estan habilitadas. Aun quedan casos que deben ser verificados en forma particular con cuentas con respaldos corruptos o incompletos, cuentas que poseen registros dns truncados que requieren una sincronización manual de registros o cuyos registros estan perdidos y deben ser reconstruidos. Aproximadamente entre un 3% y 4% de los servicios aun se encuentran en proceso de verificación.
Los principales inconvenientes para progresar en la ultima etapa de recuperación:
1-. Fichas de clientes con información de contacto obsoleta o inexistente, en particicular correo electrónico de contacto. (debemos esperar a que nos contacten y/o no estan notificados de la habilitación de cuenta)
2-. Clientes con cuentas habilitadas que no tienen experiencia previa con cpanel o no tienen asesoramiento disponible para poder utilizar el servicio aunque éste se encuentra habilitado.
Congestión de medios de comunicación:
Durante los ultimos 4 dias hemos sufrido de congestion en los canales de comunicación, la gran cantidad de llamadas y requerimientos via chat han mantenido muy colapsada nuestra capacidad de atención.
Actualmente no podemos garantizar un tiempo de repuesta a un caso via ticket, contestar y actualizar todos los casos generados puede tomar probablemente hasta el dia sabado, los casos que estan pendientes posiblemente esten verificados antes del dia martes.
Tenemos programado terminar con la situación de emergencia el dia viernes 9 y dar por concretadas todas las atenciones o requerimientos para el dia miercoles 14.
Durante este evento hemos atendido, comprometido y/o gestionado 688 casos de recuperación asistidos por operador, verificación y mantenimiento de 25 servidores involucrados y/o compometidos en el incidente, verificación de 97 servidores de configuraciones similares en la misma granja, 1152 horas de atención técnica via chat o telefono ó ticket, se incluyen 48 horas de administrador de bases de datos y programación. 12 horas de investigación forense, incluyendo 4 horas de consultoria proporcionada gentilmente por colegas competidores.
Atte NOC-GCC
-------- Comunicado de Prensa ---------
ADX Networks compensara a clientes tras ataque informático
La empresa informó además que realizará una nueva inversión, tanto en una nueva red de alta velocidad, como en mejoras de las actuales medidas de seguridad perimetrales y detección de amenazas.
En una medida inédita en el mercado nacional, la empresa ADX Networks informó este miércoles que compensara con servicio de hosting gratuito a todos los clientes afectados por la perdida de datos durante el incidente de seguridad ocurrido el pasado domingo 4 de marzo.
“Esta acción es una señal de compromiso con nuestros usuarios y una muestra de consideración y sensibilidad ante un incidente tan inconveniente. Con respecto al ataque, rechazamos de manera categórica esta manifestación de vandalismo informático, carente de cualquier consciencia moral o ética y que por su alevosía y despropósito no puede justificarse más que con el deseo enfermizo de causar daño a la comunidad, a los pequeños y medianos empresarios y a nuestra organización que presta un servicio útil y conveniente al país, generando oportunidades de negocio, desarrollo y puestos de trabajo”, señaló Roy Zderich, CEO de ADX Networks.
La compensación de los clientes afectados entrará en vigencia a partir del mes de abril del 2012 y permitirá a miles de usuarios disfrutar de un servicio de hosting de cortesía por 12 meses a partir del vencimiento del plan vigente.
Cristobal Barberis, Presidente del Directorio de ADX Networks, anunció además, que se realizará una nueva y significativa inversión, “tanto en una nueva red de alta velocidad, como en mejoras de las actuales medidas de seguridad perimetrales y detección de amenazas. Estas nuevas medidas de contingencia incluirán una nueva infraestructura de respaldo”.
Finalmente la empresa informó que se encuentra recopilando todos los antecedentes sobre este ataque informático, de manera de ponerlos a disposición de las autoridades pertinentes, con el propósito de que se investigue y persiga criminalmente a quien o quienes resulten responsables.
CC Agencias de noticias y departamento de prensa de medios de comunicación nacionales.
-------- Actualización ----------
Actualmente se esta trabajando en 3 frentes de reposición de servicio. A continuación describimos su métodologia:
Debemos aclarar que a esta hora toda cuenta que no este respondiendo se encuentra comprometida en alguna medida por el incidente del via domingo y requiere un ticket de incidente para poder investigar o remediar el caso. Para generar el ticket usted puede ingresar al portal de clientes o en su defecto simplemente enviar un email a soporte@adx.cl con el titulo "Urgente + nombre del dominio afectado", en el cuerpo del mensaje incluya un email de contacto para envio de datos de acceso, el nombre del contacto administrativo o técnico correspondiente.
1-. Reposición de servicios automatica: Un amplio porcentaje de las cuentas comprometidas en este ataque estan siendo puestas en linea con recuperación automatica.
2-. Reposición manual con recuperación de backup: Aquellas cuentas cuyo backup esta en condiciones puede ser recuperada manualmente (con errores).
3-. Reposición de Emergencia con cuenta en estado inicial: Se entrega una cuenta de hosting sin datos de la misma forma que se activo originalmente, esto ocurre en los casos en que los respaldos no se pueden utilizar (dañados, o comprometidos).
A esta hora el 80% de la plataforma de hosting compartido esta operativa de manera normal.
Por favor tome en cuenta que la congestión en nuestros medios de comunicación es alta y los tiempos de respuesta del call center estan totalmente fuera de los margenes habituales, cortes de comunicación por saturación de los trucks de voz estan ocurriendo en horarios peak. Prefiera el chat para sus consultas sobre el estado de los tickets.
IMPORTANTE: si usted no tiene un caso ingresado su cuenta puede no ser activada. Por favor solo genere un caso por cliente, en el incluya todos los dominios asociados al requerimiento.
--------- Declaración original -----------
Estimados Clientes y Partners
El domingo 4 de marzo fuimos victima de un ataque informático que afecto a nuestro sistema de provisión de servicios. Este sistema es responsable de la activación y mantenimiento de las cuentas de hosting además de otras tareas automatizadas. El ataque utilizo una combinación de vulnerabilidades que al ser explotadas permitieron al atacante ganar acceso al sistema de provisión, dañando bases de datos y saboteando una cantidad significativa de cuentas de hosting.
Nuestro personal de turno pudo reaccionar rápidamente al ataque, sacando de linea un importante número de servidores, evitando así un daño más extenso.
Durante las horas de la tarde del día domingo se trabajo en verificar la seguridad de todos los sistemas afectados, implementamos los parches proporcionados por los desarrolladores del software. Por tal razón los servidores permanecieron detenidos hasta completar la verificación de manera de garantizar que no implicara un riesgo de seguridad su puesta en marcha.
Durante la noche del domingo y madrugada del día lunes, nuestro equipo trabajo en la puesta en marcha de los servidores, logrando reponer el servicio en un 80% de las cuentas de hosting de la granja afectada por el ataque. El resto del tiempo se empleo en la reconstrucción de los datos dañados en el sistema de provisión.
Durante la mañana del día de hoy nos hemos enfocado en organizar la reposición de los servicios de hosting afectados por el ataque, proceso que es absolutamente manual dadas las características del daño producido por este incidente. Debido a la congestión causada por la gran cantidad de clientes que desean contactarnos en relación a la emergencia, nuestra capacidad de atención telefónica y vía chat se han visto sobrepasadas. Hemos organizado un plan de acción para poder resolver cada uno de los problemas de manera ordenada y metódica. Este procedimiento esta siendo comunicado por nuestro personal a través de todos los medios con que contamos.
Queremos expresar a todos nuestros clientes nuestra preocupación por los inconvenientes que se han producido debido a este ataque. Todos nuestros recursos están empleados en este momento en la reposición de los servicios afectados y en brindar las garantías de seguridad necesarias para la operación de nuestra red. Lamentamos profundamente las incomodidades e incertidumbre de estas primeras horas. Queremos también agradecer la paciencia, el apoyo y simpatía que se nos ha expresado por parte de nuestros clientes y también de nuestros competidores locales, quienes siempre están dispuestos a colaborar y hacer frente común contra la delincuencia informática.
Con respecto al ataque, rechazamos de manera categórica esta manifestación de vandalismo informático, carente de cualquier consciencia moral o ética y que por su alevosía y despropósito no puede justificarse más que con el deseo enfermizo de causar daño a la comunidad, a los pequeños y medianos empresarios y a nuestra Organización que simplemente presta un servicio útil y conveniente al país, generando oportunidades de negocio, desarrollo y puestos de trabajo.
A partir de este momento continuamos con las labores de reposición del servicio y una vez concluida la emergencia pondremos todos los antecedentes recopilados a disposición de las autoridades pertinentes, con el propósito de que se investigue y persiga criminalmente a quien o quienes resulten responsables.
Adjuntamos un instructivo para la recuperación de servicio en el caso de las cuentas dañadas. Reiteramos que nuestros correo soporte@adx.cl esta disponible, solo envie un mensaje con titulo “emergencia + el nombre de su dominio”, incluya una cuenta de correo valida para contacto de manera de poder efectuar la habilitación inmediata.
Roy Zderich
Fecha - 05/03/2012 17:19 - 05/05/2012 23:56
Ultima Actualización - 09/03/2012 04:04
(ADX-SCL) Servidor cp1267scl.adx.cl - Interfa (Resuelto)
Afectando Servidor - CP1267
Se reporto un problema en la interface de usuario de cpanel (Javascript). Este problema fue investigado y escalado a soporte de Cpanel para un analisis detallado.
Informaremos tan pronto tengamos más información.
El caso fue escalado al equipo de migración de Cpanel y fue resuelto satisfactoriamente.
Fecha - 01/03/2012 11:27 - 02/03/2012 08:19
Ultima Actualización - 02/03/2012 08:18
(ADX-SCL) Congestión acceso Internacional re (Resuelto)
Afectando Otro - Red ADX/Claro Empresas
A partir de las 8:30 am del dia 25 de enero hemos experimentado diversos problemas de saturación en el acceso internacional a Internet que sirve a dos de nuestros clusteres (ADX Cloud) en Santiago. Este problema se traduce en congestión e intermitencias de comunicación al intentar accesar a recursos localizados fuera del país. Adicionalmente a la congestión existen inconvenientes en las comunicaciones tcp usando algunos puertos de comunicación, incluyendo por ejemplo al puerto 443 (ssl) y otros de difícil detalle.
Durante las primeras horas efectuamos algunos diagnósticos llegando a determinar que el problema esta localizado a nivel de un router de core de uno de nuestros proveedores, Claro Empresas. Efectuamos el escalamiento generando un requerimiento técnico y estamos a la espera de un diagnostico y/o solución.
Mientras se resuelve este inconveniente continuaran los problemas de congestión, intermitencia y en algunos casos incomunicación con recursos de red localizados fuera de chile, afectando a todos los servicios ADX que estan basados en las direcciones ip del bloque 190.54.1xx.xxx
Los servicios de correo se verán especialmente afectados, en particular al enviar correo a servicios localizados fuera del país. Los servicios blackberrry serán seriamente afectados por cuanto dependen de servidores que están localizados fuera de Chile.
Todas las comunicaciones a nivel nacional están operando normalmente sin que tengamos a esta hora ningún reporte de inconveniente a ese nivel.
Agradecemos su comprensión, nuestro equipo técnico esta realizando todos los esfuerzos para resolver este incidente en conjunto con Claro Empresas lo antes posible.
El inconveniente está en este momento resuelto, la saturación de enlace causo los inconvenientes de conectividad. A esta hora se esta evaluando el comportamiento de las comunicaciones.
Fecha - 26/01/2012 12:43
Ultima Actualización - 01/02/2012 10:33
(ADX-SCL) Maquina 1278 mantención urgente al (Resuelto)
Afectando Servidor - CP1278
Aproximadamente a las 12:20 de este dia sabado reportamos una falla en el servidor cp1278, relacionada con una sobrecarga de recursos no identificada que dejo el servidor fuera de linea. Durante los ultimos dias hemos reportado numeros problemas de rendimiento en el sistema de archivos de este servidor, pensamos que podria estar relacionado con la inestabilidad, por esta razón hemos determinado efectuar una mantención urgente este dia sabado.
El proceso de mantención consiste en eliminar los discos de snapshot y reconstruir el almacenamiento de disco en una unidad consolidada, este proceso puede tomar hasta desde algunos minutos hasta varias horas. Durante todo este periodo el sistema no estara disponible.
La razón para efectuar esta operación creando esta ventana de servicio tiene que ver con la importancia de la integridad de los datos, el riesgo de perder información excede el valor de la perdida de acceso temporal. Hemos optado pro bajar el servidor por algunas horas en favor de asegurar la integridad de los datos.
Este probleme es anivel logico, el hardware no a sido afectado.
El estado de combinación de los discos de snapshot esta en progreso pero debido al tamaño de los discos es dificil estimar un tiempo estimado de conclusión. El proceso esta en más de un 90%, una vez completo es posible reiniciar la maquina y eventualmente efectuar un chequeo de disco para volver a iniciar la operación.
En cualquier momento efectuamos una nueva actualización.
Fecha - 19/11/2011 12:41 - 12/12/2011 23:59
Ultima Actualización - 19/11/2011 20:37
(ADX-SCL) Falla Core 2 red Almacenamiento Clu (Resuelto)
Afectando Sistema - Sistema de Almacenamiento en Red (SAN)
A las 2 pm se registro una falla en uno de los controladores de la red de almacenamiento, el sistema atiende a la mitad del trafico de almacenamiento de nuestra red en Santiago. El sistema de respaldo esta operando normalmente pero a plena capacidad, razón por la que algunos servidores estan afectados por demoras y diversos niveles de sobrecarga. La falla esta afectando de manera más severa a un grupo reducido de servidores, especificamente 4 maquinas de hosting compartido. El resto de la red esta operando estable a media capacidad de IO en Disco.
A las 4pm se diagnosticó la falla como un problema a nivel del switch de core de la red secundaria de almacenamiento.
A las 5pm se determino efectuar un diagnostico en terreno y eventualmente reemplazar la unidad defectuosa por un relevo de emergencia.
A las 6:45 pm se esta agendando el despacho de un equipo a terreno con un repuesto.
Fecha - 05/10/2011 18:40
Ultima Actualización - 14/10/2011 11:47
(ADX-SCL) Ventana de servicio 9 octubre (Sant (Resuelto)
Afectando Sistema - Nubes X1 y X2
Ventana de mantenimiento programada.
Como parte de nuestro programa de mantenimiento y ampliación de capacidad de nuestra infraestructura 2011, hemos programado una serie de trabajos que permitiran agregar más capacidad a nuestras redes y mejorar la disponibilidad de nuestros servicios.
Aprovechando este fin de semana largo en Chile, hemos programado una ventana de servicio urgente que permitirá poner en línea un sistema de almacenamiento, el cual es necesario para mejorar la velocidad y disponibilidad de los servicios cloud que ADX mantiene en Santiago de Chile.
Esta instalación requiere bajar la totalidad de los servicios a clientes durante toda la duración de los trabajos, comenzando el domingo 9 de octubre a las 20:00 hrs y terminando aproximadamente a las 02:00 hrs del día 10 de Octubre.
Los servicios afectados por esta mantención son:
1-. Hosting Compartido webParter y XtreamHost basados en Chile
2-. Servicios de Streaming basados en Chile.
3-. Máquinas virtuales y Cloud servers Basados en las nubes ADX de Santiago.
4-. Portal de Clientes y sitios principales de la red ADX
5-. Servicios DNS ADX y Webpartner basados en Santiago de Chile.
Acciones a seguir por parte de clientes de VPS y CloudServers:
1-. A los clientes de Cloud Servers y VPS localizados en Chile, se les recomienda bajar sus máquinas de manera ordenada a más tardar a las 20:00 hrs del día 9 de Octubre.
2-. Aquellas máquinas que no sean bajadas manualmente por nuestros clientes, serán desconectadas automaticamente a partir de las 8:00 hrs para cumplir con la agenda de los trabajos.
Acciones a Seguir por parte de clientes de hosting compartido de sitios web y correo (webpartner y XtreamHost)
1-. Evite efectuar actualizaciones de datos cerca del horario de comienzo de los trabajos.
2-. Las operaciones de DNS y procesos de backup se suspenderan a la hora de la ventana de servicio.
3-. Sus sitios web y correos no estarán disponible durante toda la ventana de servicio.
20:00 hrs Bajada de servicios
21:00 hrs Desconección de las Nubes (clusteres x1 y x2)
21:30 hrs Instalación de sistema de Storage.
23:00 hrs Pruebas y configuraciones de Sistema
02:00 hrs Inicio de Nubes (X1 y X2)
03:00 hrs. Fin proceso de Booteo y trabajos.
Agradecemos su comprensión y cooperación. Detalles y actualizaciones referentes a éste trabajo serán publicadas en la sección estado de servicios dentro del portal de cliente.
Fecha - 07/10/2011 11:46 - 08/02/2012 15:43
Ultima Actualización - 07/10/2011 11:47
(ADX-SCL) Sobrecargas causadas por trafico de (Resuelto)
Afectando Sistema - Servidores shared 1277,1278,1293 entre muchos otros.
Las rafagas de trafico smtp bajaron en intensidad y frecuencia. La actividad es considerada ahora como "normal". Estamos cerrando este caso.
Actualización 4 de agosto
El alto trafico de spam en rafagas a generado numerosos problemas, para lidiar con este inconveniente una serie de medidas fueron empleadas, entre ellas:
1-. Configuración de una politica de firewall para limitar el volumen de trafico contra los servidores smtp. (evasión de syn flood, flood de puertos, limite conexiones concurrentes por ip por puerto, entre otros).
2-. Optimización de los servidores, upgrade de cpu y memoria.
3-. Optimización del almacenamiento de los servidores. (elimianción de snapshots entre otros).
a esta hora continuamos efectuando tareas de optimización.
NOC ADX.
----------------------- eom
Desde el dia lunes se a registrado un incremento en el trafico de correo proveniente desde el extranjero, este trafico extraordinario, cuyo origen estamos aun investigando (relacionado con Spam), esta causando gran carga de trabajo sobre diversos servidores de hosting compartido. Flujos de hasta 20 mensajes por segundo generan sobrecarga y por lo tanto intermitencias en el servicio.
Servidores afectados en este momento son: 1277, 1278, 1273, 1293.
En este momento estamos realizando una migración de varias cuentas de hosting desde el servidor 1278 (190.54.12.78) con el fin de balancear la carga y estabilizar el servicio. El servicio a estado suspendido durante horas de la tarde en este servidor para poder destinar recursos al proceso de migración.
Durante el transcurso de la noche enviaremos más detalles del avance de este trabajo.
ADX NOC.
Fecha - 27/07/2011 20:27 - 25/08/2011 09:16
Ultima Actualización - 25/08/2011 09:16
(ADX-SCL) Falla switch core 2 red SAN, cluste (Resuelto)
Afectando Sistema - Red de almacenamiento cluster x1 y x2 en Santiago
Actualización 4 de agosto.
Luego de efectuar una verificación de toda la infraestructura en conjunto con el centro de soporte de Dell, se efectuo una actualización el firware de todo el hardware incluyendo discos duros y llevamos el software de las controladoras de Storage a su versión más reciente.
Como resultado de este trabajo mejoramos el performance de la infraestructura y descartamos un problema en algun subsistema. Varios cambios de configuración en la red iSCSI principal se efectuaron siguiendo las recomendaciones.
Luego de casi 18 dias de operación estable del sistema de storage llegamos a concluir que todo el incidente se trató de una desafortunada combinación de cambios con efectos no anticipados en el rendimiento y comportamiento de la red. El upgrade de sistema esx a su ultima versión pudo estar relacionado con las interrupciones de los link de la red almacenamiento, este es un problema descrito en otros casos con la combinación entre software PV Generación 1 y S.O. Vsphere 4.1 (storage y servidores respectivamente).
Luego de un numero importante de pruebas exaustivas concluimos con el caso dando por terminado el incidente. Queda en proceso un levantamiento completo de la red para documentar nuevamente todas las condiguraciones.
Madrugada del 15 de Julio
Durante los trabajos de upgrade de poder de proceso y storage se produjo un loop de broadcast entre los switches de comunicaciones para Internet, el resultado fue un bloqueo del acceso a internet, para reponer el servicio fue necesario reiniciar equipos de comunicaciones y eventualmente reiniciamos varios nodos del cluster x1 y x2 cuyas interfaces de red no estaan respondiendo apropiadamente. Esto produjo interrupción de servicio durante la madrugada.
La totalidad de los servicio estaba operando a las 6 am del viernes.
Aun quedan algunos trabajos programados, incluyendo la configuración de un nuevo cotrolador de almacenamiento que fue instalado el miercoles pasado. Este dia martes efectuaremos otras labores relacionadas con la puesta en marcha de este sistema.
Los switches de reemplazo para la red de storage seran ordenados a nuestro proveedor en Estados Unidos durante la proxima semana.
El dia ayer a las 23:00 hrs comenzamos con el reemplazo del switch de acceso de la red de storage. El cambio se efectuo sin contratiempos aunque algunas maquinas permanecieron abajo durante varias horas hasta que completamos todos los trabajos programados.
Hoy Julio 13 toda la red se a comportado de manera estable y se nota el incremento en el performance. Estamos esperando hasta el dia viernes para dar por superado el incidente.
Varios equipos de red adicionales seran enviados desde nuestra filial en Estados Unidos para reemplazar la unidad defectuosa y reponer el stock de repuestos.
El dia de hoy 13 en la noche tenemos otros trabajos programados, no esperamos interrupciones en el servicio.
Durante las ultimas semanas hemos experimentado diversas intermitencias en la red de almacenamiento que son la causa subayasente de las multiples caidas de servicio tanto de servidores de hosting como de servidore privados.
La red de almacenamiento que presenta las fallas sirve a aproximadamente 120 servidores linux con cpanel, cuyos servicios brindan correo y web hosting a varios miles de clientes.
La descripción de la secuencia de falla es la siguiente:
1-. Caida de segmento de la red de almacenamiento inicia el proceso de fail over de la red de storage cambiando todo el acceso a disco a una de las 2 controladoras principales cuyo segmento de red opera correctamente.
2-. Al cambiar de segmento de red el acceso a los discos, los servidores linux experimentan diversos estados ,segun el tiempo que le tome recuperar el acceso pueden: hacer al cambio sin novedad, perder acceso al disco y colgarse, sobrecargarse. Los servidores windows no son afectados por esta condición o al menos no de manera significativa.
3-. Una vez producida la condición de sobrecarga en las maquinas linux que pierden temporalmente el acceso a la red, los nodos asociados a estas maquinas virtuales sufren sobrecargas de trabajo, generando un efecto de inestabilidad que dificulta los trabajos de recuperación.
4-. La condición debe ser superara en forma manual, tiempo que puede variar entre una hora y 3 horas de trabajo para re-iniciar las maquinas afectadas.
1-. Tenemos la teoria de que un problema de funcionamiento en uno de los switches de la red de almacenamiento esta generando esta recurrente situación de caida de la red de almacenamiento. En teoria este swtich podria estar generando errores internos en su software operativo y por esa causa botando el acceso a la red en forma aleatoria por periodos de un segundo o menos. Desafortunadamente no existe un log que pueda acreditar directamente esta teoria por lo que debemos comprobarla empiricamente.
1-. No existe stock de estas unidades en el país, por lo que recurriremos a una unidad de reserva para implementar una redundancia temporal. El swtich sospechoso sera sacado de línea el martes 12 para evaluar el comportamiento. Si la falla deja de ocurrir entonces la teoria sera validada.
2-. En el caso de que el switch sea decretado defectuoso varias unidades serán ordenadas y despachadas desde nuestra filial en miami para ser instaladas durante la ultima quincena de julio.
Medidas posteriores:
1-. Esta agendada la instalación de una red de almacenamiento secundaria en forma completamente espejada, este proyecto ya fue anunciado. Esta unidad nos permitira dividir el riesgo sobre dos redes diferentes y segmentar el impacto de una falla a la mitad. Esto constituye un nivel de redundancia n+4 en el sistema de almacenamiento.
La estabilidad de la red de almacenamiento y la latencia del proceso de fail-over tiene un impacto en el desempeño completo de los sistemas cloud, en el caso de los clientes (maquinas virtuales) con sistemas operativos linux a quedado expuesto un problema con el manejo de las latencias en los casos de fallas de las rutas de acceso al storage, un cambio de configuración y/o un mejor soporte para estas técnologias es requerido. Los sistemas basados en windows 2008 se comportan mejor con configuración predeterminada, no registramos ningun caso de falla durante o posterior al proceso de fail over de la red de storage para los servidores basados en windows 2008.
Estos casos no estan documentados en internet ni tampoco estan bien descritos en la base de conocimiento de Dell, los ingenieros de soporte de los sistemas de storage no tienen antecedentes especificos de una falla de estas mismas caracteristicas por lo que dependemos de nuestro propio proceso de resolución de problemas y documentación.
El publico en general persive la falla como la caida individual de un solo sistema y no como un problema que afecta colectivamente a un grupo de servidores, esto genera malos entendidos.
Este tipo de problemas nos permitiran mejorar la experiencia en futuros incidentes, los sistemas cloud demostraron ser confiables y robustos, ofreciendo mejor seguridad ante la perdida de componentes de hardware, siendo el punto más delicado la red de almacenamiento.
Agendamos trabajo para las 21 horas del martes 12 de julio.
Fecha - 12/07/2011 18:22
Ultima Actualización - 04/08/2011 21:55
(ADX-SCL) Falla degradación de array 7 (SAN) (Resuelto)
Afectando Sistema - Clusters X1, X2 y X3, Datacenter magnus
Estatus de Este incidente:
Red estabilizada, respuesto en caliente reemplazo al componente defectuoso. El dia de mañana se repondra el componente defectuoso.
Notas: Experimentamos un inconveniente con uno de los nodos del cluster x1 que causo perdida de ruta de acceso de varias maquinas virtuales.
A esta hora todos los servicios estan estables.
Se registro una falla en el array 7 afectando diversos servicios de hosting en nuestra nube de Santiago. Este array tendra performance limitado mientras se efectue la reconstrucción. Adicionalmente a eso tenemos un inconveniente de balanceo de carga en el SAN que generó la sobrecarga en el acceso a disco.
Una vez solucionada la degradación del array es posible balancear la carga, por lo que esperamos una congestion en el acceso a disco que pondra algunos servicios inestables durante toda la mañana de hoy.
En este momento estamos contactando al centro de soporte de DELL para recomendaciones sobre esta situación.
TIEMPO ESTIMADO DE SOLUCION: 1 hora y media.
Fecha - 04/07/2011 09:04
Ultima Actualización - 04/07/2011 16:19
Cambio Servicio de Correo (Resuelto)
Afectando Sistema - Servidores Compartidos, Cluster X1
· Se programa trabajo de Operaciones para el día Jueves 17 a las 19:00 Hrs.
· Se comenzara por el servidor compartido 190.54.12.67.
· Se envía correo informativo a Clientes el día 14 de Febrero.
· Se actualizara este caso mediante avance la operación.
15/02/11 18:22 Informacion sobre Dovecot:
Fecha - 17/02/2011 00:00 - 19/02/2011 00:00
Ultima Actualización - 13/06/2011 08:34
(ADX-SCL) Falla de energia Datacenter Magnus (Resuelto)
Afectando Otro - Clusters X1, X2 y X3, Datacenter magnus
**********Actualización con informa de falla en Datacenter:
El equipo de Netglobalis (quienes administran el datacenter Magnus) proporciono este informe sobre las incidencias en la red despues de la falla de energia.
http://delta.adx.cl/imagenes/Reporte%20de%20Incidencia%20-%206%20de%20Junio%20de%202011.pdf
El informe no habla de las causas exactas del corte de energia pero extraoficialmente se nos comento que ocurrio un problema con la transición desde la energia de generadores a la energia de la red publica, aparentemente la red publica volvio a caer justo en el momento en que se estaba retornando a ella y las ups no fueron capaces de soportar la carga de dos eventos de corte consecutivos. Este problema, de ser efectivo, podria prevenirse alargando el tiempo de retorno a la red publica para permitir a las ups una recuperación de la carga de baterias o aumentando la capacidad de bateria de las ups. Lo más efectivo y simple parece ser el primer sistema.
Vamos a solicitar detalles del problema electrico que es el que nos ocupa, nuestra red opera de manera independiente al datacenter Magnus y nuestros equipos de core estan en otro datacenter diferente, por esa razón nuestra red volvio tan pronto se reiniciaron los switches.
Aproximadamente a las 6am de este dia lunes 6, se produjo un corte de energia al interior del Datacenter Magnus, operado por netglobalis en la Ciudad Empresarial. Las Causas y características de este incidente aun no han sido informados aún por la Gerencia de dicha compañia.
El incidente en resumen:
1--. 3 sistemas de ADX fueron afectados, se trata de 3 clusteres sobre los que se ejecutan servicios de hosting compartido, vps y servicios de streaming, estos clusteres entregan servicio a miles de clientes localizados en Chile.
2-. El reinicio violento de todo el equipamiento dejo fuera de linea los sistemas de almacenamiento y el nodo de administración de los clusteres. El encendido de todas las maquinas virtuales fue efectuado manualmente consumiendo practicametne la mitad del dia.
3-. Durante el dia los servicios operaron de manera inestable, sin embargo al terminar la jornada la totalidad de los servicios de clientes estaba operando.
4-. Debido a la naturaleza masiva de esta caida de servicio, nos fue imposible dar respuestas personalidas a todos y cada uno de los clientes via telefono.
Durante el dia de mañana tendremos más información sobre este incidente.
Nota sobre servicio de correo: Es importante aclarar que si bien los servicios se encuentran operando, existen muchos clientes que tienen problematicas relacionadas con correos atascados en la bandeja de salida y otros problemas similares, con los que es posible lidiar por el lado del cliente. Durante el dia de mañana intentaremos dar solución a todos estos casos. Por lo pronto todos los clientes que tengan problema de acceso al correo deben limpiar su bandeja de salida, resetear las passwords (cuando se trata de errores de autenticación por corrupciòn del archivo de passwords, reiniciar modems de banda ancha con ip variable, reinciar computadores para asegurarse de que no existen procesos colgados de su programa lectores de correo favorito.
Nota: sobre Datacenter Magnus
Con respecto a comentarios relativos a la calidad de la infreaestructura y las condiciones técnicas en que corren estos clusteres, ese site (Magnus) fue seleccionado durante el 2008 por que ofrece una arquitectura tier III (o inspirada en tier III), el nivel de redundancia y disponibilidad de la energia era apropiado para los niveles de calidad de servicio que son requeridos. Dicha infraestructura tiene un uptime anual superior al 99.99 (con terremoto incluido). De esta forma queremos desestimar el rumor de que ese datacenter sea defectuoso. En efecto el desempeño de Magnus es sobresaliente y con niveles de continuidad operativa de clase mundial.
Fecha - 06/06/2011 19:20 - 06/06/2011 00:00
Ultima Actualización - 13/06/2011 08:24
(ADX-SCL) Falla módulo controlador SAN (Resuelto)
00:58 hrs Nuestro sistema de monitoreo detecto la falla de un modulo de control de almacenamiento en la red de storage que sirve a los clusteres x1. x2 y x3.
A esta hora estamos efectuando el diagnostico con el centro global de soporte de Dell.
01:00 hrs. Falla de controladora declarada, estamos solicitando el repuesto.
01:42 hrs. A esta hora Dell esta coordinando el despacho del modulo de control defectuoso. Tiempo estimado de resolución es 06:00 hrs.
08:23 hrs. El modulo controlador fue reemplazado con exito. Todos los servicios estan operacionales.
Nota: Durante el transcurso de la falla ningun sistema dejo de operar.
Fecha - 13/06/2011 00:56
(ADX-SCL) Mantención de emergencia nodo 20 c (Resuelto)
Afectando Sistema - Cluster X1, Santiago, Datacenter Magnus
En este momento estamos efectuando una mantención por evento emergente en el nodo 20 del cluster X1, la maquina esta siendo sacada de linea tan pronto las cargas de procesamiento sean trasladadas a otros nodos.
La mantención termino de manera satisfactoria, el nodo no haba sido reiniciado en dos años, el reinicio limpio la memoria y quedo operando normalmente.
Fecha - 16/11/2010 00:21
Ultima Actualización - 16/11/2010 11:50
Falla de software en nodo 28 (Resuelto)
Esta madrugada de miercoles, durante un proceso de mantenimiento de rutina, nuestro cluster de servidores localizados en el datacenter Magnus de Ciudad empresarial fue afectado por un error de software en uno de sus nodos, causando una falla que dejo temporalmente fuera de linea a 25 servidores.
Durante la noche y hasta las 4 am los servicios afectados fueron reacomodados rapidamente en otros nodos de procesamiento de manera de normalizar su actividad lo antes posible. Durante las primeras horas de esta mañana se efectuaron trabajos para volver a reconfigurar los sistemas afectados y poder contar con su poder de proceso disponible para apoyar la ejecución de tareas durante las horas peak.
El principal efecto notable de este incidente es la perdida transitoria de una parte del poder de proceso lo que se traduce en perdida de velocidad en algunos servicios e inestabilidad en otros. Algunos servicios sufrieron interrupción y otros necesitaron intervención manual para iniciar su recuperación.
La mayoria de los servicios de nuestra red continuaron operando sin ninguna ó con leve interrupción y a la hora de redacción de este informe (12:00) la totalidad de los servicios se encuentran funcionando dentro de parametros normales.
Fecha - 22/09/2010 12:01 - 22/09/2010 00:00
Ultima Actualización - 22/09/2010 12:05
Nodo 27 Cluster x1 (Santiago) (Resuelto)
Afectando Sistema - Cluster de virtualización
Durante el dia de hoy detectamos un problema de funcionamiento en los servicios administrativos del nodo 27 del clusted de virtualización X1 de Santiago. Esto afecta nuestra capacidad de administración sobre los recursos y maquinas virtuales que se encuentran alojados en ese nodo. Para resolver este problema debemos bajar todos los servicios alojados en el nodo 27 luego reiniciar el hardware.
Esto nos obligara a bajar aproximadamente 27 servicios de nuestra red, incluyendo maquinas de hosting compartido y algunos servidores dedicados de clientes.
Durante la tarde de hoy despacharemos email a clientes afectados.
Los trabajos se inician a las 23 hrs y esperamos que tomen aproximadamente una hora.
El trabajo fue efectuado con exito y el nodo esta nuevamente en linea y sirviendo trafico.
Fecha - 19/07/2010 00:00 - 20/07/2010 00:00
Ultima Actualización - 20/07/2010 01:52
(ADX-SCL) Actualización de servidores web (Resuelto)
Afectando Sistema - Plataforma de hosting webpartner (SCL)
ADX esta constantemente implementando mejoras en el servicio que incluyen actualizaciones críticas y otras modificaciones al hardware, software y conectividad que son requeridas a modo de mantenimiento.
Durante los siguientes 7 dias a partir de mañana a las 23:00 hrs, estaremos efectuando una actualización de software a todos los servidores web de nuestra plataforma de hosting compartido Webpartner.
¿Para que es esta actualización?
Esta actualización corresponde a un cambio en nuestra configuración estándar del servidor web apache y el procesador de php. La nueva configuración ha demostrado, en nuestro laboratorio, incrementos de velocidad de hasta 800% con respecto a la actual implementación que se encuentra en producción.
El beneficio de este cambio se presenta como un mejor uso de los recursos y una notable acceleración de los tiempos de ejecución de los scripts php, lo que se traduce en mejores tiempos de acceso a sus contenidos web y más estabilidad.
¿Como me afecta este cambio?
En el laboratorio hemos efectuado pruebas con diversos ambientes y aplicaciones y existen muy pocos efectos adversos, es posible que algunas aplicaciones avanzadas tengan que efectuar modificaciones a su codigo para poder tomar ventaja de la nueva implementación o directamente tengan algunos inconvenientes, pero en la mayoria más amplia de los casos, nuestros clientes no deberan efectuar ningun cambio ni hacer ningún ajuste.
¿Que pasa si mi sitio no funciona bien luego del cambio?
En el caso de que una aplicación no opere correctamente producto del cambio, se puede migrar a alguno de los servidores que mantendremos con la configuración anterior a modo de reserva para compatibilidad. El proceso de migración en caso de ser requerido puede tomar al rededor de 12 horas en promedio desde que se agenda por causa de la actualización de DNS que se requiere para direccionar el sitio web a otro servidor.
Los casos que requieren migración incluyen:
1-. Sitios web que requieran el uso de IONCUBE para ejecutar paginas precompiladas con ese producto. Para saber si usted requiere este modulo debe consultarlo con su desarrollador web o webmaster.
2-. Sitios que no puedan operar con Eaccelerator en combinación con FastCGI, usted debera contactar a su webmaster si detecta algun problema de funcionamiento. En el caso de que no sea posible operar su aplicación en el nuevo entorno usted debera solicitarlo por medio de un ticket entregando los antecedentes que respaldan la necesidad del cambio.
Nuestra estimación señala que el porcentaje de sitios que no podrán correr normalmente con la nueva plataforma constituyen un número muy reducido. Si usted estima que pertenece a ese grupo debe iniciar un ticket.
Efectos del proceso de actualización en el servicio:
Normalmente el servicio web se detiene por un periodo de entre 20 y 40 minutos mientras dura la compilación del nuevo software y su configuración. Efectuamos este cambio durante la noche por que es más rapido y afecta a menos usuarios.
¿Por que no se nos avisa con más anticipación?
Nuestro protocolo nos indica 7 dias calendario de aviso para trabajos de mantenimieto que afectan servicios masivos y 24 horas para los trabajos que afectan el funcionamiento de servidores individuales. Este trabajo es considerado como un trabajo que afecta a un numero reducido de clientes a nivel de servidor web individual por lo que entra en la clasificación de 24 horas. Adicionalmente consideramos que el beneficio que entrega este cambio es muy importante para la velocidad y estabilidad de los servicios de manera que lo tratamos como un parche crítico.
¿Afectara mi servicio de correo?
NO, pero si afectara en alguna medida el funcionamiento del webmail durante la instalación. El correo basado en pop3 e imap no se verá afectado.
Modificaremos la configuración de los servidores web para accelerar su operación.
Nuestros clientes no deben esperar ningun trastorno ni efecto adverso, unicamente una interrupción de algunos minutos y la posterior puesta en marcha del servicio con el nuevo setup.
En caso de que usted detecte algun inconveniente luego de las modificaciones deberá iniciar un ticket con la descripción del problema para que su caso sea canalizado de acuerdo a nuestro plan de acción.
Recomendamos que contacte a su webmaster si no esta familiarizado con estos terminos y desea mayor información.
Jueves 28 de enero 23:00 hrs.
Viernes 29 de enero 23:00 hrs.
Sabado 30 de enero 23:00 hrs.
Domingo 31 de enero 23:00 hrs.
Lunes 1 de Febrero 23:00 hrs.
Martes 2 de febrero 23:00 hrs.
Miercoles 3 de febrero 23:00 hrs.
(2) 5847337
Fecha - 28/01/2010 00:00 - 19/07/2010 15:41
Ultima Actualización - 28/01/2010 01:34
Recompilación apache en proceso (Resuelto)
Afectando Servidor - CP1279
En este momento estamos recompilando apache para intentar hacer más eficiente la ejecución de scripts php, lamentamos tener que interrumpir la operación de este servidor pero se hace imposible operarlo normalmente por motivo de la sobrecarga causada por los scripts alojados en sitios de los usuarios.
Esperamos tener lista la compilación en los proximos 40 minutos.
ACTUALIZACION: La recompilación resulto exitosa y el rendimiento mejorado notablemente.
Fecha - 18/01/2010 19:06
Ultima Actualización - 18/01/2010 19:58
Nodo principal (Santiago) experimenta caida. (Resuelto)
Afectando Sistema - Core nacional ADX en Magnus ciudad empresarial
Aproximadamente a las 10:05 hrs sufrimos interrupción en las comunicaciones nacionales afectando la disponibilidad de todos los servicios localizados en nuestro cluster X1 de Santiago, instalado al interior del datacenter magnus. A las 10:50 hrs el servicio fue repuesto. Este incidente fue generado por la bajada de un puerto que alimenta la vlan de transporte de datos de los enlaces fisicos, esto ocurrio producto de un error administrativo de nuestro personal.
El tiempo total fuera de linea del cluster fue de 45 minutos.
Este problema esta resuelto.
Fecha - 05/01/2010 11:13
Ultima Actualización - 05/01/2010 11:22
(ADX-SCL) Reasignación discos en array 3 (Resuelto)
Afectando Sistema - Sistema de almacenamiento en red
Efectuaremos una reasignación de discos dentro de nuestro array número 3. Este trabajo no tiene impacto sobre el uptime general de los servicios.
(2) 584-7337
Fecha - 20/05/2009 00:00 - 25/05/2009 00:00
Ultima Actualización - 18/11/2009 17:56
Retiro de servidores PE 2800 (Resuelto)
Afectando Otro - Servicios ya fueron migrados o estan siendo migrados
En este momento estamos preparandonos para eliminar servidores de la serie 2800, los servicios alojados en dichas maquinas ya fueron migrados el dia de ayer.
No esperamos inconvenientes.
NOC ADX NETWORKS
Fecha - 17/07/2009 11:19 - 17/07/2009 00:00
Ultima Actualización - 18/11/2009 17:55
Falla de disco storage backup (Resuelto)
Afectando Sistema - Cluster X1, Datacenter Magnus, SCL
A las 2 de la tarde del dia lunes 16, se presento la falla de un disco duro parte de un arreglo (raid 5) de almacenamiento de respaldo de 15 Terabytes que sirve al cluster x1 en el datacenter Magnus en Santiago de Chile (ciudad empresarial).
Esta falla es rápidamente solucionada con discos de repuesto en caliente (hot spare) que estan listos para entrar en acción. Como resultado de la perdida de un disco es necesario reconstruir el arreglo completo, en este caso un volumen de disco de 6 terabytes que tomo aproximadamente 24 horas de procesamiento.
A pesar de que esta situación no es critica, se genero una situación compleja por causa de la larga reconstrucción del volumen de datos afectado. La controladora primaria de disco se sobrecargo al servir la reconstrucción y el trabajo general del almacenamiento al mismo tiempo. Fue necesario consultar al centro de soporte corporativo de Dell en Dallas para pedir una opinión sobre el impacto y posibilidad de solución. Se aplico un procedimiento definido de comun acuerdo y luego de procesar parte del volumen se traslado parte de la carga de procesamiento a un segundo controlador de disco.
El principal efecto negativo de este incidente fue la lentitud de acceso a disco de un numero limitado de servidores.
La solución tomo una hora y media, y el efecto de la perdida del disco fue poco significativo en el cluster, no hubo perdida de datos.
Fecha - 16/11/2009 00:00 - 17/11/2009 00:00
Ultima Actualización - 18/11/2009 17:52
Problema servidor mysql (Resuelto)
Estamos experimentando un problema con el servicio mysql de la maquina 79, procedimos a reinstalar todas las librerias y software asociado, el proceso esta en marcha.
Fecha - 11/08/2009 17:43
Ultima Actualización - 02/09/2009 00:54
Migración servidor a cluster x1 (Resuelto)
En este momento estamos migrando el servidor 79 de cluster para prevenir problemas de continuidad ya que el servidor fisico en el que estaba corriendo debe entrar en mantención de emergencia.
La migración termino con exito.
Fecha - 23/06/2009 14:11 - 23/06/2009 00:00
Ultima Actualización - 24/06/2009 17:33
(ADX-SCL) Notificación: trabajo programado c (Resuelto)
Afectando Sistema - Acceso a internet general
En el marco de nuestro plan de mantenimiento y actualización de infraestructura y redes, el departamento de operaciones ha programado un trabajo de ampliación del ancho de banda nacional disponible en nuestro cluster localizado en el datacenter magnus de ciudad empresarial.
El día miércoles 20 de mayo a las 23:00 hrs el servicio será temporalmente interrumpido para reemplazar equipamiento de comunicaciones. El tiempo estimado de interrupción será de 1 hora.
Como resultado de esta modificación dispondremos de más capacidad de tráfico nacional lo que tendrá como efecto secundario una menor latencia en el intercambio con el pit nacional de Telmex y por su intermedio con los más importantes proveedores de acceso a Internet en el país.
Le recordamos que detalles de los trabajos realizados y programados están disponibles en la sección de estado de la red en el portal de clientes:
http://delta.adx.cl/contentroot/networkissues.php
Adicionalmente estamos emitiendo informes via twitter los que pueden ser visualizados via web en: http://twitter.com/adxnetworks o agregando a su cliente de twitter favorito el usuario adxnetworks
Fecha - 20/05/2009 00:00 - 20/05/2009 00:00
Ultima Actualización - 23/05/2009 16:59
ASTRO 11 Info de PHP
ASTRO 12 Info de PHP
ASTRO 13 Info de PHP
ASTRO 14 Info de PHP
ASTRO 8 Info de PHP
Administración > Estado del Servidor
Copyright © 2018 ACSYSTEM. Todos los derechos reservados.

References: resolución 
 resolución 

Resolución 
 resolución 
 resolución 
 resolución