Sadece link alıp aldığın linklerden birşey crawl mı edeceksin? eğer yleyse herşeyden nce her işlemi bir kuyruğa atmanı neririm. Fargate veya benzeri herhangi bir kontayner orchestratoru scale işini grür. nüne mq koy dememin sebebi orchestratorunda scale up süresi var ve dar boğaz oluşturabilir. eğer obje işleyeceksen işleme ve yazma işlemlerini direk s3 ver ve kullanıcı oradan indirsin. farklı dillerde worker yazdırma ihtiyacın eğer farklı işler içinse, her iş tipine gre ayrı bir container yazarsın ve fargate iş tipine gre container başlatır. eğer streaming data bekliyorsanız durum farklı onu konuşalım Mühendis kahveyi projeye dnüştüren bir insan evladıdır.

bi' tahminde bulunabilir miyim? pazaryeri entegrasyon alt yapısı mı hazırlıyorsun :) yanlış tahminse yanlış demen yeterli :D Ahaha çok yaklaştın abi, ona çok yakın bisey yapıyorum. :D 29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.

merhabalar bir projem için mimari konusunda fikre ihtiyacım var, basitçe front endde kullanıcıdan aldığımız verileri arkada belli aralıklarla işleyeceğiz, atıyorum adamdan bi link alıcaz linkteki videoyu indirip işleyeceğiz falan. web tarafında django kullanıyoruz, bu arkadaki işler içinde celery kullanıcaz. celery yi aws fargate ile bağlayıp her task için bir vm açmayı düşünüyorum, bylece hem tasklar paralel çalışır hem de hiç task yoksa hiç bişey çalışmaz, maliyet sıfır olur :P taskları lambdaya atmayı düşündüm lakin bazı tasklar baya uzun sürüyor (10dk falan, ve optimize etme şansım yok çünkü google apilerinden bişeyler çekiyorum, süreyi o uzatıyor) lambda da uçuk maliyetler çıkar diye düşündüm. yanlış mı düşünüyorum? fargate dışında daha mantıklı nerisi olan var mıdır? ya da bu workflowu ynetebileceğim, workerları farklı farklı dillerde yazabileceğim lambda dışında platform var mı? atıyorum bi workerı ben pythonda yazayım sonra js ci adam gelsin bürünü js de yazsın vs vs hocam detaylar çok kısıtılı, hangi sitelerden alınan videolar hangi kalitede hangi limitlerle alınacak(google svlerinden r2. sublarından mı mesela) kullanıcılar arası hiyerarşi olacak mı, zel üyelikler olacak mı ve ne lçekte bir proje olacak?

Güzel, şimdi benim nerim dosyaları direk s3'e yaz, daha sonra farklı dosya tiplerini eğer ortak bir formata almak istersen hemen aws data pipeline etl işlemlerine sok. Sonra ortak formatta lambda ile yap manipülasyonunu sonra yine pipeline ile istedipin veri tabanına yaz n tarafta kurguladığın fargate'li yapının arka tarafı gibi düşün. "data pipeline" ı bilmiyodum hocam baya işime yarayacak bişey gibi duruyo, çok sağol. data pipeline ingestion işlemini çzüyor ama yine de verinin üstünde yapmam gereken işlemler var. kullanıcıdan aldığım parametrelere mongodb üstünde mapreduce javascriptleriyle yapıyorum şu an. bunlar için yine workerlar kullanmam gerekecek sanırım. edit: bunların dışında, veriyi apilardan çekip ya da download edip s3 e atmak içinde workerlar gerekecek bir de datapipeline da iki farklı kaynaktan gelen veriyi belirli bir fielda gre birleştirebilirmiyim ona bakacağım (99% yapabiliyorumdur ) @terror hocam işin karmaşıklığını azaltmak için olabildiğince manager servis kullanmaya çalışıyorum. yolbulucu tarafından 11/Ara/20 14:59 tarihinde düzenlenmiştir 29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.

yalinyalniz bunu yazdı yolbulucu bunu yazdı merhabalar bir projem için mimari konusunda fikre ihtiyacım var, basitçe front endde kullanıcıdan aldığımız verileri arkada belli aralıklarla işleyeceğiz, atıyorum adamdan bi link alıcaz linkteki videoyu indirip işleyeceğiz falan. web tarafında django kullanıyoruz, bu arkadaki işler içinde celery kullanıcaz. celery yi aws fargate ile bağlayıp her task için bir vm açmayı düşünüyorum, bylece hem tasklar paralel çalışır hem de hiç task yoksa hiç bişey çalışmaz, maliyet sıfır olur :P taskları lambdaya atmayı düşündüm lakin bazı tasklar baya uzun sürüyor (10dk falan, ve optimize etme şansım yok çünkü google apilerinden bişeyler çekiyorum, süreyi o uzatıyor) lambda da uçuk maliyetler çıkar diye düşündüm. yanlış mı düşünüyorum? fargate dışında daha mantıklı nerisi olan var mıdır? ya da bu workflowu ynetebileceğim, workerları farklı farklı dillerde yazabileceğim lambda dışında platform var mı? atıyorum bi workerı ben pythonda yazayım sonra js ci adam gelsin bürünü js de yazsın vs vs hocam detaylar çok kısıtılı, hangi sitelerden alınan videolar hangi kalitede hangi limitlerle alınacak(google svlerinden r2. sublarından mı mesela) kullanıcılar arası hiyerarşi olacak mı, zel üyelikler olacak mı ve ne lçekte bir proje olacak? hocam bu detayların sorduğum soruyla ne ilgisi var anlamadım? video işlemeyi rnek olarak verdim, herhangi bir uzun sürecek task düşünebilirsin. bir sürü kullanıcıdan gelmiş bir sürü uzun sürecek taskı lçekleme konusunda düşünmeden, paralel olarak çalıştırmak istiyorum ben. Taskin sistemi yorma oranına gre tek makinede de çalıştırabilirsin mesela veya her makineye instance de açabilirsin ama en verimli yolu bulmak için tüm yapıyı bilmek gerek. Saydığın servisler bu iş için uygundur hocam ama verimli midir onu syleyemeyeceğim maalesef.

Daha kompleks işler için nifi'de kullanabilirsin ama tek kişilik dev kadroysan uğraşmaya değmez. ekstra bir şeye ihtiyacın olursa adresi biliyorsun;) uf nifi efsane. istediği işin istediği kısımları için processorler yazarak ekran üzerinden pıtır pıtır işlem yaptırabilir. herkes programcı olmak zorunda değildir, lütfen bir zorunluluk gibi programlama dilleri ğrenmeye çalışmayın. yabancı dil filan ğrenin amq.// s. kimin etini yerim, kasaba minnet etmem.// ince düşünene kalın girer.//

Güzel, şimdi benim nerim dosyaları direk s3'e yaz, daha sonra farklı dosya tiplerini eğer ortak bir formata almak istersen hemen aws data pipeline etl işlemlerine sok. Sonra ortak formatta lambda ile yap manipülasyonunu sonra yine pipeline ile istedipin veri tabanına yaz n tarafta kurguladığın fargate'li yapının arka tarafı gibi düşün. Mühendis kahveyi projeye dnüştüren bir insan evladıdır.

yolbulucu bunu yazdı merhabalar bir projem için mimari konusunda fikre ihtiyacım var, basitçe front endde kullanıcıdan aldığımız verileri arkada belli aralıklarla işleyeceğiz, atıyorum adamdan bi link alıcaz linkteki videoyu indirip işleyeceğiz falan. web tarafında django kullanıyoruz, bu arkadaki işler içinde celery kullanıcaz. celery yi aws fargate ile bağlayıp her task için bir vm açmayı düşünüyorum, bylece hem tasklar paralel çalışır hem de hiç task yoksa hiç bişey çalışmaz, maliyet sıfır olur :P taskları lambdaya atmayı düşündüm lakin bazı tasklar baya uzun sürüyor (10dk falan, ve optimize etme şansım yok çünkü google apilerinden bişeyler çekiyorum, süreyi o uzatıyor) lambda da uçuk maliyetler çıkar diye düşündüm. yanlış mı düşünüyorum? fargate dışında daha mantıklı nerisi olan var mıdır? ya da bu workflowu ynetebileceğim, workerları farklı farklı dillerde yazabileceğim lambda dışında platform var mı? atıyorum bi workerı ben pythonda yazayım sonra js ci adam gelsin bürünü js de yazsın vs vs hocam detaylar çok kısıtılı, hangi sitelerden alınan videolar hangi kalitede hangi limitlerle alınacak(google svlerinden r2. sublarından mı mesela) kullanıcılar arası hiyerarşi olacak mı, zel üyelikler olacak mı ve ne lçekte bir proje olacak? hocam bu detayların sorduğum soruyla ne ilgisi var anlamadım? video işlemeyi rnek olarak verdim, herhangi bir uzun sürecek task düşünebilirsin. bir sürü kullanıcıdan gelmiş bir sürü uzun sürecek taskı lçekleme konusunda düşünmeden, paralel olarak çalıştırmak istiyorum ben. 29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.

bi' tahminde bulunabilir miyim? pazaryeri entegrasyon alt yapısı mı hazırlıyorsun :) yanlış tahminse yanlış demen yeterli :D No thing is possible, world itselfs say ı'm possible

Sadece link alıp aldığın linklerden birşey crawl mı edeceksin? eğer yleyse herşeyden nce her işlemi bir kuyruğa atmanı neririm. Fargate veya benzeri herhangi bir kontayner orchestratoru scale işini grür. nüne mq koy dememin sebebi orchestratorunda scale up süresi var ve dar boğaz oluşturabilir. eğer obje işleyeceksen işleme ve yazma işlemlerini direk s3 ver ve kullanıcı oradan indirsin. farklı dillerde worker yazdırma ihtiyacın eğer farklı işler içinse, her iş tipine gre ayrı bir container yazarsın ve fargate iş tipine gre container başlatır. eğer streaming data bekliyorsanız durum farklı onu konuşalım Linkten xml, csv tarzı dosyalar indirip bunları mongodb ye import edip ekstra apilardan biseyleride üstüne yazicam. Queue kullanıyorum zaten su an, celery redis le çalışıyor. 29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.

Daha kompleks işler için nifi'de kullanabilirsin ama tek kişilik dev kadroysan uğraşmaya değmez. ekstra bir şeye ihtiyacın olursa adresi biliyorsun;) çok teşekkür ederim abi :)) 29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.

yolbulucu bunu yazdı yalinyalniz bunu yazdı yolbulucu bunu yazdı merhabalar bir projem için mimari konusunda fikre ihtiyacım var, basitçe front endde kullanıcıdan aldığımız verileri arkada belli aralıklarla işleyeceğiz, atıyorum adamdan bi link alıcaz linkteki videoyu indirip işleyeceğiz falan. web tarafında django kullanıyoruz, bu arkadaki işler içinde celery kullanıcaz. celery yi aws fargate ile bağlayıp her task için bir vm açmayı düşünüyorum, bylece hem tasklar paralel çalışır hem de hiç task yoksa hiç bişey çalışmaz, maliyet sıfır olur :P taskları lambdaya atmayı düşündüm lakin bazı tasklar baya uzun sürüyor (10dk falan, ve optimize etme şansım yok çünkü google apilerinden bişeyler çekiyorum, süreyi o uzatıyor) lambda da uçuk maliyetler çıkar diye düşündüm. yanlış mı düşünüyorum? fargate dışında daha mantıklı nerisi olan var mıdır? ya da bu workflowu ynetebileceğim, workerları farklı farklı dillerde yazabileceğim lambda dışında platform var mı? atıyorum bi workerı ben pythonda yazayım sonra js ci adam gelsin bürünü js de yazsın vs vs hocam detaylar çok kısıtılı, hangi sitelerden alınan videolar hangi kalitede hangi limitlerle alınacak(google svlerinden r2. sublarından mı mesela) kullanıcılar arası hiyerarşi olacak mı, zel üyelikler olacak mı ve ne lçekte bir proje olacak? hocam bu detayların sorduğum soruyla ne ilgisi var anlamadım? video işlemeyi rnek olarak verdim, herhangi bir uzun sürecek task düşünebilirsin. bir sürü kullanıcıdan gelmiş bir sürü uzun sürecek taskı lçekleme konusunda düşünmeden, paralel olarak çalıştırmak istiyorum ben. Taskin sistemi yorma oranına gre tek makinede de çalıştırabilirsin mesela veya her makineye instance de açabilirsin ama en verimli yolu bulmak için tüm yapıyı bilmek gerek. Saydığın servisler bu iş için uygundur hocam ama verimli midir onu syleyemeyeceğim maalesef. tek makina yetmez hocam, anlık bin tane task ta gelebilir, onu kaldıracak makinayı bulamam. 29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.

Daha kompleks işler için nifi'de kullanabilirsin ama tek kişilik dev kadroysan uğraşmaya değmez. ekstra bir şeye ihtiyacın olursa adresi biliyorsun;) Mühendis kahveyi projeye dnüştüren bir insan evladıdır.

konuşulan şeyleri çok beğendim. konuşulmayan bir not düşüp uzuyorum. "Bu kadar çok, farklı ve tecrübenin az olduğu teknoloji, ortam, çzüme ihtiyacın varmı?" bunu da karar verirken kendine sor lütfen : Bu servislerin çoğu managed services olduğundna ciddi bir sıkıntı yaşayacağını sanmıyorum Mühendis kahveyi projeye dnüştüren bir insan evladıdır.

konuşulan şeyleri çok beğendim. konuşulmayan bir not düşüp uzuyorum. "Bu kadar çok, farklı ve tecrübenin az olduğu teknoloji, ortam, çzüme ihtiyacın varmı?" bunu da karar verirken kendine sor lütfen : herkes programcı olmak zorunda değildir, lütfen bir zorunluluk gibi programlama dilleri ğrenmeye çalışmayın. yabancı dil filan ğrenin amq.// s. kimin etini yerim, kasaba minnet etmem.// ince düşünene kalın girer.//

merhabalar bir projem için mimari konusunda fikre ihtiyacım var, basitçe front endde kullanıcıdan aldığımız verileri arkada belli aralıklarla işleyeceğiz, atıyorum adamdan bi link alıcaz linkteki videoyu indirip işleyeceğiz falan. web tarafında django kullanıyoruz, bu arkadaki işler içinde celery kullanıcaz. celery yi aws fargate ile bağlayıp her task için bir vm açmayı düşünüyorum, bylece hem tasklar paralel çalışır hem de hiç task yoksa hiç bişey çalışmaz, maliyet sıfır olur :P taskları lambdaya atmayı düşündüm lakin bazı tasklar baya uzun sürüyor (10dk falan, ve optimize etme şansım yok çünkü google apilerinden bişeyler çekiyorum, süreyi o uzatıyor) lambda da uçuk maliyetler çıkar diye düşündüm. yanlış mı düşünüyorum? fargate dışında daha mantıklı nerisi olan var mıdır? ya da bu workflowu ynetebileceğim, workerları farklı farklı dillerde yazabileceğim lambda dışında platform var mı? atıyorum bi workerı ben pythonda yazayım sonra js ci adam gelsin bürünü js de yazsın vs vs 29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.