Koyon Multimodal

Koyon Multimodal wani nau'i ne na ilmantarwa mai zurfi wanda ke haɗawa da aiwatar da nau'ikan bayanai da yawa, wanda ake kira Hanyoyi, kamar rubutu, sauti, hotuna, ko bidiyo. Wannan haɗin kai yana ba da damar fahimtar bayanai masu rikitarwa, inganta aikin samfurin a cikin ayyuka kamar amsa tambayoyin gani, dawo da tsari na giciye,  ƙarni na rubutu zuwa hoto,  matsayi mai kyau,  da kuma rubutun hoto. 

Manyan samfuran multimodal, irin su Google Gemini da GPT-4o, sun zama masu shahara tun 2023, suna ba da damar karuwar sassauci da fahimtar abubuwan da suka faru a duniya.

 PDalilin da ya sa aka yi amfani da shi 
Bayanai yawanci suna zuwa tare da hanyoyi daban-daban waɗanda ke ɗauke da bayanai daban-daban. Misali, ya zama ruwan dare a sanya rubutun hoto don isar da bayanin da ba a gabatar da shi a cikin hoton kanta ba. Hakazalika, wani lokacin yana da sauƙi don amfani da hoto don bayyana bayanin da bazai bayyane ba daga rubutu. A sakamakon haka, idan kalmomi daban-daban sun bayyana a cikin irin waɗannan hotuna, to waɗannan kalmomi na iya bayyana abu ɗaya. Sabanin haka, idan an yi amfani da kalma don bayyana hotuna masu banbanci, to waɗannan hotuna na iya wakiltar abu ɗaya. Don haka, a lokuta da ke hulɗa da bayanai masu yawa, yana da mahimmanci a yi amfani da samfurin wanda ke iya wakiltar bayanan tare don samfurin zai iya kama bayanan da aka haɗu daga hanyoyi daban-daban.
 Injin Boltzmann mai zurfi mai zurfi 
Injin Boltzmann wani nau'in hanyar sadarwa ce ta jijiyoyi ta stochastic da Geoffrey Hinton da Terry Sejnowski suka ƙirƙira a shekarar 1985. Ana iya ganin injunan Boltzmann a matsayin stochastic, generative counterpart na ragar Hopfield . An sanya musu suna ne bayan rarrabawar Boltzmann a cikin makanikan ƙididdiga. An raba raka'o'in da ke cikin injunan Boltzmann zuwa ƙungiyoyi biyu: raka'o'in da ake iya gani da raka'o'in da aka ɓoye. Kowane raka'a kamar jijiyoyi ne mai fitarwa ta binary wanda ke wakiltar ko an kunna shi ko a'a. Injinan Boltzmann na Janar suna ba da damar haɗi tsakanin kowace raka'a. Duk da haka, koyo ba shi da amfani ta amfani da Injinan Boltzmann na gabaɗaya saboda lokacin lissafi yana da ƙima ga girman injin.  . Tsarin gini mafi inganci ana kiransa da na'urar Boltzmann mai iyaka inda ake ba da izinin haɗi tsakanin na'urar ɓoye da na'urar da ake iya gani kawai, wanda aka bayyana a sashe na gaba.

 Manazarta