🚩 Report
No se puede cuantizar a gguf?O pasar a formato llamafile?O en general,superoptimizarlo para cpu?
También considero relevante investigar el hardware no digital...¿Se podría entrenar un modelo para que en una impresora 3D cree un metamaterial que cuando unos sensores apliquen sobre este lo transformen en datos?Es decir usar un llm para convertirlo en un material que lo encierre directamente,en lugar de usar circuitos digitales,ni siquiera con intervención humana,ni circuitos directamente termódinamicos,o fotónicos o neuromórficos...Es decir un material diseñado por la IA que sea una IA en si,con varios servidores y no para el desarrollo de materiales inteligentes,sino para que sea el material intelgente auto optimizado,que el objetivo de la red artificial sea modelar un llm en un volumen tridimensional al aplicarle y medir ciertas propiedades
La estrategia podría ser un distilado,donde la impresora tendría las 3 coordenadas,la cantidad,el tipo de material,las propiedades del material de input,luego el objetivo sería tener un modelo y usar todas las respuestas posibles generadas por el modelo original,y aplicar una cantidad de propiedades sobre el material creado para medir su comportamiento.Cada vez que respinda se compara con el resultado digital y se recalcula hasta que el modelo material,gaste la mínima energía y responda muy similar al modelo digital,todo esto es una idea para hacer accesible la IA desde el punto de que la IA debería poder optimizarse en otro sistema que la admite,sin depender tanto del hardware humano.