sunucuya ayıracak paranız çok heralde ya da google çalışanı falan mısın saniyede 1m data gnderebilen sistem ne için lazım ne kaynak yer o anasını yiyim para var huzur var kaçtım

rakkoc bunu yazdı Kendisi detay verir :) inşaAllah :D Andolsun kuşluk vaktine ve dindiği zaman o geceye ki, Rabbin sana veda etmedi ve darılmadı! Ve kesinlikle senin için sonu nünden daha hayırlıdır. ileride Rabbin sana verecek de hoşnut olacaksın! O, seni bir yetim iken barındırmadı mı? Seni, yol bilmez iken yola koymadı mı? Seni bir yoksul iken zengin etmedi mi? yle ise, sakın yetime kahretme ! El açıp isteyeni de azarlama! Fakat Rabbinin nimetini anlat da anlat!

Suanki asamada proje baya degisti ve basitlestirildi. Ne redis'e ne message broker'a gerek kalmadi, yeni basic architecture ile tek exe yetiyor gibi grünüyor. Durduk yere bir sürü ugrasacakmisim :) Burda servis, verileri artik anlik almayacak, kendi ihtiyaci oldugunda alacak. Yani verileri dataprovider'lardan isteyecek. Tüm veriler geldikten sonra basit bir hesaplama yapacak ve o hesapla sonucunda dogru sonuc cikiyorsa, sinyal isleme kismina yollayacak. Bu sayede cok daha performansli bir uygulama ortaya cikacak ve mümkün mertebe az kaynak kullanacak. Cünkü saniyede 10 binlerce verinin gelmesine, bunlarin bir yerlerde saklanmasina gerek yok. Hesaplama bittikten sonra hepsi bellekten temizlenip gidecek. unbalanced tarafından 09/Şub/23 17:11 tarihinde düzenlenmiştir Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

Hocam selamlar, Embedded device içerisinde sistem geliştiriyoruz o yüzden sistem kaynağı ve performans nemliydi bundan kaynaklı https://nats.io/ kullandık güzel bir sistem neririm oldukça yüksek hızlarda çalışabilmekte. Tesekkürler hocam paylasimin icin. c# da destekliyormus https://nats.io/download/ Suan icin kullanacagim bir durum yok ama ilerde lazim olunca bunu da test ederim. Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

hocam sırf meraktan soruyorum madem sistemde redis var, mb olarak da neden redis i kullanmıyorsun : https://redis.com/solutions/use-cases/messaging/ bunu sormamın sebebi bende büyük bir projeyi BullJS ile Redis yapisina taşıyorum bir sıkıntı var mı bu konuda yaşadığınız. Yapmayın etmeyin, edit:detayları yazacağım sandman tarafından 09/Şub/23 15:27 tarihinde düzenlenmiştir Mühendis kahveyi projeye dnüştüren bir insan evladıdır.

MhmdAlmz bunu yazdı unbalanced bunu yazdı rakkoc bunu yazdı Kendisi detay verir :) inşaAllah :D Rakkoc'u zelden arayacağım, sen ocak dışısın Biraz üzüldüm açıkcası kalbim kırıldı... Neyse rakkoçtan ğrenirim ben problem yok Andolsun kuşluk vaktine ve dindiği zaman o geceye ki, Rabbin sana veda etmedi ve darılmadı! Ve kesinlikle senin için sonu nünden daha hayırlıdır. ileride Rabbin sana verecek de hoşnut olacaksın! O, seni bir yetim iken barındırmadı mı? Seni, yol bilmez iken yola koymadı mı? Seni bir yoksul iken zengin etmedi mi? yle ise, sakın yetime kahretme ! El açıp isteyeni de azarlama! Fakat Rabbinin nimetini anlat da anlat!

hocam sırf meraktan soruyorum madem sistemde redis var, mb olarak da neden redis i kullanmıyorsun : https://redis.com/solutions/use-cases/messaging/ bunu sormamın sebebi bende büyük bir projeyi BullJS ile Redis yapisina taşıyorum bir sıkıntı var mı bu konuda yaşadığınız. Redis'in message broker olarak kullanilabilecegi ile ilgili bir makale okumustum ancak diger sistemlerle karsilastirildiginda o kadar iyi olmayacagi sonucuna vardim. Ayrica @sandman'la zelden konusurken o konu gecti ve tavsiye etmiyorum dedi. Kendisi detay verir :) Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

video steam varsa kafka yoksa zeroMQ, rabbitmq, QmQ kafkada sunucu vs ıstıyor devops kısmı ayarlamaları vs uzun oluyor dıye bırakmıstım projede. Sanırım rabbitmq ile başlayım qmq a gecmıstım kullanım kolaylıgı acısından. cevap icin tesekkürler hocam. Streaming ya da video, büyük dosya vs yok. Zaten stream dedigimiz sey aslinda asenkron olarak datalarin sürekli gitmesi, ki benim ki de byle bir sey. Cünkü yazdigim gibi 200 ms'de 1000 veri gidecek ki bu baslangic hali, cok yakin zamanda bu veri 10 bine de cikacak. zerMQ 'yu duydum ama hic bakmadim, QmQ'yi duymadim bunlara bir bakayim. Ayrica kafka sunucu istemiyor hocam, docker ile bile calisabiliyor https://kafka.apache. org/intro bu üstteki linktekini de sabah bir okuyayim Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

Aradigim cevabi sanirim buldum Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

Selamlar herkese Depremden dolayi icin hepinize cok gecmis olsun. Umarim tbt ailesinden kimse zarar grmemistir. Bir sistem sorum olacak, biraz beyin firtinasi da iyi olabilir diye düsündügüm icin burada konu acmak istedim. Kafamda asagidaki gibi temel düzeyde bir sistem kurdum, her kutucuk birbirinden bagimsiz makinelerde olacak . Service 1: Veri saglacisi. Bu server verileri cekip yollayacak. rnek olarak 200 ms'de en az 1000 veri (veri boyutlari cok büyük degil, belk 50-100 byte) Service 2: Bu servisimiz gelen verileri isleyecek, cesitli matematiksel hesaplamalar yapacak ve filtereden gecenleri subscribe olmus client'lara yollayacak. Ayni zamanda verileri redis'e kaydedecek. En agir islerin oldugu kisim burasi. Clientlar: Bunlar da Service 2'ye subscribe olmus programciklar ve Service 2'den gelen verilere gre kendi tasklarini yapacaklar. Asagida grsellesmis hali mevcut Burada sormak istedigim olay message broker olayi. Hem service 1- service 2 arasinda ve de service 2- clientlar arasinda bir message broker kullanmak istiyorum. Daha nce az biraz azure hub ile calistim . Ayrica yine bir kac projede SignalR kullandim, iyi calissa da performans olarak biraz hantal oldugunu düsünüyorum . Kafamda iki tane czüm var. RabbitMQ ve Kafka. Bir kac yil nce RabbitMQ ile basit bir kac sey yapmistim ama onun disinda her hangi düzgün bir projede kullanmadim. Okudugum kadariyla pub-sub yapisina en uygun Kafka gibi grünüyor. Ayrica Kafka streaming projeleri icin uygun, her ne kadar benim projemde streaming olmasa da kesintisiz bir veri akisi sz konusu. Kuyruklama olayi da benim acimdan gereksik. Ve Kafta saniyede 1 milyon mesaji isleyebiliyormus, ki mükemmel bir hiz. https://www.simplilearn.com/kafka-vs-rabbitmq-article#: :text=Deciding%20Between%20Kafka%20and%20RabbitMQ&text=Your%20decision%20will%20however%20depend, message%20delivery%20and%20complex%20routing. surda güzel bir karsilastirma yazisi var. Kisaca üstte kurdugum sistem icin, servisler arasi veri iletisimi icin Kafka'yi kullanmayi düsünüyorum. Sizin fikirlerinizi, nerilerinizi duymak isterim. Tesekkürler unbalanced tarafından 08/Şub/23 02:38 tarihinde düzenlenmiştir Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

Hocam selamlar, Embedded device içerisinde sistem geliştiriyoruz o yüzden sistem kaynağı ve performans nemliydi bundan kaynaklı https://nats.io/ kullandık güzel bir sistem neririm oldukça yüksek hızlarda çalışabilmekte. Memento Mori

plugin seklinde yaptim sistemi süper oldu :)) uygulamanin klasrüne sadece data provider icin hazirlanmis dll'in kopyalanmasi taninmasi icin yetiyor. Byle esnek yapilar cok hosuma gidiyor ve cok temiz oluyor. Bundan 6-7 sene nce calistigim firmada UI tabanli plugin yapmistim, o proje baya karistik. MAF ve MEF kullandim, zaten Addin/plugin yazilirken bunlar kullaniliyor. UI tabanli plugin rnekleri hic yoktu, o yüzden baya ugrastirmisti beni. Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

Redis'e dnemedim bari buna hemen dneyim :) Şimdi aslında tam yapılmak istenen nedir, event-driven architecture yapıp microservisler arasında iletişim mi? sadece uygulamalar arasında async iletişim mi yoksa çok büyük bir veri akışı olacak ve bunu karşılayacak bir ara katman mı lazım? Bu soruların haricinde MQ'a yazılan verilerin sıralı olarak okunması şart mı? Bir kere mi okunacaklar yoksa birden fazla kere okunacaklar mı? RabbitMQ sana mesajların sıralı okunmasını garanti ederken Kafka daha kolay büyümene ve birden fazla kere farklı servisin aynı mesajı tüketebilmesini sağlar. Kafka ile devam edecekse iki kurulum senaryosu var, zookeeper ve metadata veritabanıyla kurabilirsin. Benim nerim zookeer'lı kurman kendi metadata veri tabanı hala çok iyi performans gstermiyor. Kafka'da topic yapısının altında her broker üzerinde bir veya birden fazla o topic için partition bulunur, partitionlar diskte mesajların yazıldığı alandır ve her partition 20mb/s şeklinde limite sahiptir, performans ihtiyaçlarını buna gre planlamanı neririm. Kafka'da offset çalışma mantığını ve consumer group çalışma mantığını iyi anlamanı neririm çünkü aynı topic'i birden fazla aynı işi yapan uygulama tüketecekse aynı consumer grouba alman lazım yoksa çift mesaj işlenir, ikinci notkaysa her offset partition başına ayrıdır bundan dolayı kafka mesajları yazıldığı sırayla okunamayabilir. Bunun çeşitli çzümleri var ama producer veya consumer tarafında çzmeni neririm sakın kafka'yı buna zorlama. Kafka kurulumunu yaptıktan sonra offset'lerin tutulduğu zel bir topic var, bu topic'in birden fazla partition ve replication'ı olduğuna emin ol yoksa leader broker giderse sistem durur failover yapmaz. son olarak SASL_SSL ile broker'ları ayarlarsa ileride farklı roller ve ihtiyaçlara gre yetkilendirmen kolay olur. Sorun olursa yaz bana kafkayla baya kafayı kırmıştım Şuradaki komutlarlada performans testleri yaparsın https://www.clairvoyant.ai/blog/benchmarking-kafka Mühendis kahveyi projeye dnüştüren bir insan evladıdır.

hocam sırf meraktan soruyorum madem sistemde redis var, mb olarak da neden redis i kullanmıyorsun : https://redis.com/solutions/use-cases/messaging/ bunu sormamın sebebi bende büyük bir projeyi BullJS ile Redis yapisina taşıyorum bir sıkıntı var mı bu konuda yaşadığınız. Bu aralar fazla yogunum. Unuttugum seyler oluyorsa affola. DM vs atın.

unbalanced bunu yazdı rakkoc bunu yazdı Kendisi detay verir :) inşaAllah :D Rakkoc'u zelden arayacağım, sen ocak dışısın Mühendis kahveyi projeye dnüştüren bir insan evladıdır.

hocam ihtitaçların için rabbitten ziyade kafka daha iyi duruyor. uptime min limitinize gre işler karışabilir ama :/ herkes programcı olmak zorunda değildir, lütfen bir zorunluluk gibi programlama dilleri ğrenmeye çalışmayın. yabancı dil filan ğrenin amq.// s. kimin etini yerim, kasaba minnet etmem.// ince düşünene kalın girer.//

Aradigim cevabi sanirim buldum tam olarak bu iş için zamanında apache mosquitto kullandım hocam. mqttv3 kullanıyor. çok basit pub/sub yapısı var. epey lightweight bir şey. Kafka ya da rabbitmq gibi ynetim vs ihtiyaçları da yok. Kur topicleri ayarla çalışsın bir yapısı var. Cehennemin dibine kadar yolum var daha.. || Nasılsa her yalnız kendine sürgündür Asmera unutma.

@sLeymN mosquitto'yi duydum baya ama hic denemedim. Ornek bir proje buldum, arkadasa yolladim bir denesin bakalim, mesela 10 ms'de veri gnderme olayina bakalim nasil calisiyor, sonra süreyi daha da düsürüp deneyelim. Lightweight olmasi bizim isimize gelir tabi ki. Tesekkürler nerin icin Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

hocam ihtitaçların için rabbitten ziyade kafka daha iyi duruyor. uptime min limitinize gre işler karışabilir ama :/ @sLeymN in dedigi gibi mosquitto'yi denedim, az biraz performans kaybi grünse de beklentilerimizi karsiliyor gibi grünüyor. Kurulumu ve kullanimi baya basit. Bizim amacimiz sadece veri gndermek ve bunu iyi bir performans alabilecegimiz sekilde yapmak @taskafa Birden fazla veri kaynagi var hocam, ama yle anlik milyonluk bir akisa ihtiyac yok zaten. Yavas yavas veri kaynaklarini arttiracagiz ona gre de sistemi scale etmek gerekecek. @sandman tesekkürler detayli aciklamalar ve bilgiler icin. Anladigim kadariyla bu kafka cok profesynel amaclarla kullaniliyor, cok fazla detay ve dikkat edilecek seyler var. Dün bir kac video kurcaladim, temel seylerini grendim hatta egitim seti de satin aldim. Suan bir kac kaynagi sisteme baglayip mosquitto ile baglayip, iki farkli makine üzerinden bir deneme yapayim, Orada istedigimiz karsilaniyorsa, kafka'ya girmeyi düsünmüyorum. Ama sistem iyi calismazsa mecburen bu tarz bir czüm kullanacagim, o zaman tekrar sorarim sana :) Aslinda yaptigimiz testlerde sunu farkettik, veri kaynagindan gelen data'nin service 2'ye mslik hizlarda gitmesine gerek yok, sistem kayiplari tolere edebilir, ayrica sirali olmasinin da hic bir nemi yok. O sebeple basit bir sistem isimizi grecek gibi grünüyor Tüm cevaplar icin tesekkürler. Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

video steam varsa kafka yoksa zeroMQ, rabbitmq, QmQ kafkada sunucu vs ıstıyor devops kısmı ayarlamaları vs uzun oluyor dıye bırakmıstım projede. Sanırım rabbitmq ile başlayım qmq a gecmıstım kullanım kolaylıgı acısından. Homo sapiens, yaşamak için, diğer canlıların yaşamasına muhtaç; obligat parazit türüdür. "Sen olursan boş bardak, sana olur koyan çok su. a. g."