Solucionado el fenomeno para normal. Lo que pasaba era que cuando el cliente recibia la desconexion se borraba de la lista de observadores que resulta que es la misma que el manager de red esta recorriendo para mandar paquetes de desconexion. Para evitar problemas he hecho que el borrado de observadores sea diferido. En esa misma llamada desactivo la red del cliente, pero en principio eso no deberia dar problemas porque lo unico que hace es eliminar la lista de conexiones. Asi que en resumen, ahora si el server se cae o se apaga los clientes automaticamente se salen de la partida, falta poner un pop up que diga connection lost o algo asi.