sql server kullanıyorum, 2 milyon satır oldu bi sorgunun süresi yaklaşık 2 dakika, daha optimize nası yapılır bilmiyorum, burdan bişeyler çıkar gibi msjım bulunsun:)

34 m satir kayidi mysqlde tutyorum 8 gb ram i5 islemci ile bi sorgu 1 dakikadan az suruyor

Konu hakkında deneyimim bayağı arttı, yeni gelen sorular olursa tatmin edici cevaplar verebileceğimi düşünüyorum... En son Hadoop + HBase + Hdfs + Hive + Ambari olan bir sistem ile devam ediyorum... Computer Engineer/SyStem Analyst/ Coder ShyRain

aslında nosql çzümlerinde tuttugun veri tipi ve yapıların bir birleriyle ilişkisi nemli. Biraz ne tür birşey aradığından neden sürekli değişen bir sorgu türün olduğundan bahsedersen daha iyi yardımcı olmak isterim. Genelde Cassandra ile big data projelerinde çalıştım ve hepsinden memnun kaldım sen tüm objesi alıp içerisinden jsonla temizlesende olur. Mühendis kahveyi projeye dnüştüren bir insan evladıdır.

bu konuda bende epey kararsınızm redis ve cluster yapısıyla mysql üzerindeki tüm veriyi redise taşımayı düşünüyorum. Ram üzerinde olduğu için çok hızlı çalışıyor. Güzel bir master slave mimariside oturtunca olacağını düşünüyorum. Twitter bu kadar çok twitten bu kadar çok kullanıcıya akış sağlamak için redis kullanıyordu konu açılmışken deneyimlerinizi ve tavsiyeleriniz bekliyorum bende

http://www.percona.com/files/presentations/percona-live/london-2011/PLUK2011-linux-and-hw-optimizations-for-mysql. pdf incelemeni tavsiye ederim; http://www.percona.com/downloads/ https://www.youtube.com/c/hobitadilat

Big data olayını hiç bilmiyorum, aklım da almıyor unorganised datayla nasıl iş yapılacağını Bilale anlatır gibi anlatırmısınız ya? farklı yapılarda farklı databaseler ve tablolar var, bunlardan nasıl le bir sorgu çekiyorsunuz? rnek sorgu cümleleri verirmisiniz? yani tsql gibimi sorgulanıyor? o database join yapmıyorsa ne bok yapior =) düz text searchmi yapıyor indexing yapıp? Not: eğer işime yarar bişeyse kafamı duvarlara vuracağım çünkü oturup yeni dbms yazdım farklı dblerde iş yapmak için farklı dbleri sanal tabloda birleşik gibi gsteren virtual database engine yaptım kendime. HolyOne tarafından 25/Eyl/14 10:31 tarihinde düzenlenmiştir Nush ile uslanmayanı etmeli tekdir, Tekdir ile uslanmayanın hakkı ktektir!

eğer 100 milyon satırın veya yarım terabayttan fazla datan yoksa big data çzümlerine pek bulaşmamanı neririm. cassandra dışında adamakıllı bir alternatifin de yok bedava birşey istiyorsan çünkü. onda normalde join falan yok ama eğer hadoop veya spark kullanırsan sql kadar güçlü bir sorgulama yapısı var. ama dediğim gibi çok imkanın varsa kaçınmaya çalış. mysql'i bilmiyorum da postgresql'de güzel bir sharding sistemi var mesela. o da olmadı alabileceğin en güçlü makineyi alırsın. big data çzümleri her türlü pahalıdır çünkü. bir alternatif olarak citusdb var postgresql'i distributed yapmış adamlar ama en son denediğimde pek stabil değil gibiydi. . . .. . ... .

Bu konu aklımızda kalsın. İlerde lazım olacak

bu konuda bende epey kararsınızm redis ve cluster yapısıyla mysql üzerindeki tüm veriyi redise taşımayı düşünüyorum. Ram üzerinde olduğu için çok hızlı çalışıyor. Güzel bir master slave mimariside oturtunca olacağını düşünüyorum. Twitter bu kadar çok twitten bu kadar çok kullanıcıya akış sağlamak için redis kullanıyordu konu açılmışken deneyimlerinizi ve tavsiyeleriniz bekliyorum bende Twitter artık bunu kullanıyor dostum bir incelemeni tavsiye ederim; http://opentsdb.net/ Time Series DataBse Redis olur güzel bir inmem db ou da denedim ancak verinin büyüklüğü arttıkça maliyet çok artıyor.. Senin kendine şu soruları sorman lazım. 1) ne kadar esneklik arıyorsun yani MySql gibi sorgu atıyım join yapayım falan diyormusun 2) bütçen ne kadar o kadar RAM alabilecek misin? 1TB verin olunca 1TB RAM ekleyebilecekmisin? 3) RAM deki veri herhangi bir kesintide kaybolunca nolacak? 4) lisans parası verebilir miyim yoksa tamamen ücretsiz olacak mı diyorsun... Computer Engineer/SyStem Analyst/ Coder ShyRain

ncelikle cevaplar için herkese teşekkür ederim. Günlük şu andaki ortalama datam txt'ye kaydettiğimde toplamda 20G ye tekabül ediyor. Ayda 600G ediyor son 3 yıldır data tutulduğunu varsayarsam gayet güzel bir big data oluyor bence. Yaklaşık 30 Farklı serverdan ve projeden gelecek veriler bu yüzden sorgularımda çok farklı ve değişik olabiliyor. Şyle bir rnek sallayım; ayın 30'unda akşam yemeğinde pilav yerken yanında ayran içmişlerin istatistiğinin çıkartılması 1. sorgum. ayın 30'unda akşam yemeğinde eşiyle yemeğe gitmiş olanların çocuklarını evde bırakmış olmaları 2. sorgum. ikiside benze datalar içeriyor ama bildiğim kadarıyla Cassandraya bunu aynı dataları farklı yolla indexleyerek yani 2 farklı collection yaparak koymam gerekiyor değil mi? Bu 2 sorgu üzerinden nasıl gidebiliriz biraz daha teknik yardım edermisiniz? EK: neo4j de biliyorum ama onda ki node sayısını ne olarak almalıyım sence mesela insanların her birini alsam milyon tane node olur elimde ne kadar sürede cevap verir bu durumda? Computer Engineer/SyStem Analyst/ Coder ShyRain

ne kadar işine yarar ama graph data da kullanabilirsin ek olarak sylediklerine daha nce baya bi nosql çzümü kullandık neo4j ye bakabilirsin http://www.neo4j.org/ bunun haricinde couchdb ye bakabilirsin ve de memcachdb.. bunlarda zaten strict schema olmadığı için sorun yok istediğinde.. @sandman ın dediği gibi ben de cassandra dan memnunum Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

neo4j için, biz mesela 1900 lü yıllardan günümüze kadar yapılmış filmlerin oyuncuları, film bilgileri , oyuncu bilgileri ve oyuncular arasındaki ilişkilerin olduğu bir sistem için yazılım geliştirdik. Haliyle çok data vardı.. datanın büyüklüğünden korkma, facebook da bir kısım işi bunun üzerinden gtürüyor https://www.facebook.com/about/graphsearch @holyone, hocam her sistemin kendine ait farklı bir dili var mesela yazdığım sorgulardan rnek verirsem.. bunu neo4j için yazmıştım match , , p= shortestPath - - return distinct extract(n in nodes |n. name) as Names; bu mongo nun db. group0zips. findOne( , ) bu pig in input_lines = LOAD '/Data/NYTimes_articles' AS ; -- Extract words from each line and put them into a pig bag -- datatype, then flatten the bag to get one word on each row -- words = FOREACH input_lines GENERATE FLATTEN(TOKENIZE(line,'.,:;?!- " ')) AS word; -- words = FOREACH input_lines GENERATE FLATTEN(TOKENIZE AS word; -- filter out any words that are just white spaces -- filtered_words = FILTER words BY word MATCHES '\\w+'; -- -- create a group for each word word_groups = GROUP words BY word; -- count the entries in each group word_count = FOREACH word_groups GENERATE COUNT AS count, group AS word; -- order the records by count ordered_word_count = ORDER word_count BY count DESC; STORE ordered_word_count INTO '/user/user9/3'; burdaki kolon yapısından bir şeyler çıkarabilirsin burdaki slayta da gz atabilirsin https://app.box.com/s/on9y17jdh9t3ma7o4neh unbalanced tarafından 25/Eyl/14 10:43 tarihinde düzenlenmiştir Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

sql optimizasyonu mysql ayarlarını değiştirin. rneğin en çok kullandığınız tablolarla id based patitioning yapın. Tabi sql sorgularını buna gre optimize edin. Rand fonksiyonun alternatifleri var onu kullanın. Birde mysql log'dan uzun süren sql sorgularını analiz edin. Sistem dediğin hemen değiştirilmez. Ayrıca NOSQL gibi çzümler Document based sistemler için uygun. Yani gtü başı belli olmayan veriler için uygun. Her zaman performanslı olacak diye birşey yok. Ne kadar veriniz var bilmiyorum ama koskoca ülke satın alabilecek firmalar dahi mysql kullanabiliyorda siz mi kullanamıyorsunuz. Ya yeterli donanım yoktur ya da yeterli nitelikli iş gücü yoktur. http://dev.mysql.com/doc/refman/5.1/en/partitioning.html DrKill tarafından 24/Eyl/14 21:05 tarihinde düzenlenmiştir Bu imzayı her grdüğünüzde 4gb kotanızın 0,00000358559191226959228515625 azalmaktadır. Bilerek ve istenerek bu imza yapılmıştır. Amaç kotanızı smürmektir

Merhaba, elimde sürekli büyüyen verilen var ve mysql'e attığım sorgular artık 4 saatte cevap dnüyor. MongoDB ve Cassandrayı inceledim sorularınızın sabit olması gerekiyor yoksa hızlı olmaz NoSql'lerde yazılmış genelde. Sorguya gre tablo yapısı oluşturulmuş. Benim ne gibi bir sorguya cevap dndüreceğim belli değil bunun için hangi veritabanını incelememi nerirsiniz yardımcı olur musunuz? Ek: tabiki de ücretsiz, Oracle gibi big data big money tarzı olmasın lütfen... Computer Engineer/SyStem Analyst/ Coder ShyRain

Data büyük değildir server küçüktür. Ne sistemler mysql kullanıyor hiç sorunları yok. 1-2 gb sonrasına herkes bigdata demeye başladı.

34 m satir kayidi mysqlde tutyorum 8 gb ram i5 islemci ile bi sorgu 1 dakikadan az suruyor senin bilgisayarın daha düz texti açamıyor bir de 1 dk sürmesiyle vünüyorsun :p

http://www.thoughtworks.com/insights/blog/nosql-databases-overview Geyik Candır :]

NoSQL dediğin gibi genelde sorguya gre veritabanı oluşturarak performansı arttırıyor. RDBMS'lerin sorunu joinden çıkıyor. Elinden geldiğince denormalize edip sorgu süresini kısaltabilirsin. Yada in memory çzümlere bakabilirsin belki. Sonuçta IO'yu ortadan kaldırman bile büyük hız kazandıracaktır. Yada Hadoop filan gibi distributed computation imkanı sağlayan çzümlerle map/reduce ile daha hızlı sonuç elde etmeye çalışabilirsin. Ancak eminim senin case'ini yaşamış insanlar vardır. Google'da yeterli aramayı yaptığına eminmisin? herkes programcı olmak zorunda değildir, lütfen bir zorunluluk gibi programlama dilleri ğrenmeye çalışmayın. yabancı dil filan ğrenin amq.// s. kimin etini yerim, kasaba minnet etmem.// ince düşünene kalın girer.//