fireviewer/molmopoint-8b-fire-smoke-pointing

FireViewer MolmoPoint 8B Fire/Smoke Pointing

Modèle MolmoPoint autonome spécialisé pour pointer, depuis une vue terrestre, les flammes visibles et l'origine visuelle d'une colonne de fumée. Le modèle complet BF16 a été reconstruit à partir du checkpoint natif MolmoPoint puis des 14 tenseurs FireWarning appris au pas 600.

Le dépôt contient :

• les poids complets safetensors chargeables avec Transformers ;
• le processeur, le tokenizer, la configuration et le code de modèle requis ;
• les checkpoints légers FireWarning des pas 400, 500 et 600 ;
• les empreintes et le manifeste de provenance du run.

Chargement

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "fireviewer/molmopoint-8b-fire-smoke-pointing"
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

Sur une image, interroger séparément les cibles visible flames et smoke column origin. Le modèle renvoie des points image ; la conversion en coordonnées géographiques reste la responsabilité du recalage caméra/MNT de FireViewer.

Entraînement FireWarning

• base : allenai/MolmoPoint-8B / checkpoint natif step23000 ;
• corpus : fireviewer/fire-smoke-pointing-ground-v1 ;
• vues terrestres uniquement ;
• 600 pas, checkpoints tous les 100, checkpoints retenus 400/500/600 ;
• seuls les modules de pointage ont été entraînés ; le LLM, le ViT et le connecteur sont restés gelés ;
• export final autonome en BF16 et configuration SDPA portable. Une exécution peut sélectionner Flash Attention 2 si son environnement l'installe.

Benchmark indépendant du 28 juillet 2026

Le modèle complet a été comparé à MolmoPoint-8B non adapté et à Florence-2-large-ft sur 20 images terrestres, avec 18 cibles attendues :

Modèle	Cibles retournées	Distance moyenne normalisée	Médiane	Hit@5 %	Images/s
FireViewer MolmoPoint-8B	14/18	0,0520	0,0422	57,1 %	0,544
MolmoPoint-8B base	14/18	0,0578	0,0501	50,0 %	0,566
Florence-2-large-ft	18/18	0,1925	0,1820	0 %	3,72

Le fine-tuning réduit la distance moyenne d'environ 10,1 %, la médiane d'environ 15,7 % et améliore Hit@5 % de 7,1 points. Le cas le plus difficile reste l'origine visuelle d'une colonne de fumée. La sélection a pour SHA-256 1d62481d9c5f84e91a78ad731fc6739f352820783ab0b1a3f71842ca28a9b61e. Le lot de 20 images reste trop petit pour une promotion irrévocable ; un test terrestre élargi est requis. Les versions SVG sont fournies dans assets/.

Limites

Ce modèle ne prouve ni la position géographique, ni l'étendue complète d'un incendie, ni un front caché. Ses points doivent être contrôlés par les autres capteurs, la géométrie, les sources et la validation humaine FireViewer. L'évaluation quantitative opérationnelle indépendante reste distincte de la validation structurelle de ce dépôt.

Licence

Le modèle dérivé conserve la licence Apache-2.0 du modèle de base. Les médias du corpus ont leur propre statut de provenance décrit dans le dépôt dataset ; ils ne sont pas couverts automatiquement par la licence des poids.