אפאצ'י קפקא

אפאצ'י קפקא היא פלטפורמת תוכנה לעיבוד זרם נתונים (stream processing) קוד פתוח המפותחת במסגרת קרן התוכנה אפאצ'י ונכתבת בשפות Scala ו-Java. הפרויקט נועד לספק פלטפורמה מאוחדת, עם תפוקה גבוהה וזמני השהיה קצרים לטיפול בזרם נתונים בזמן אמת. שכבת האחסון היא בעצם "תור הודעות גדול ממדים בתבנית עיצוב יצרן-צרכן (Pub/Sub) עם ארכיטקטורה מבוזרת ניתנת להגדלה (scalable), הפועל כלוג (יומן מקוון) של טרנזאקציות" ובכך מהווה תשתית יעילה עבור ארגונים גדולים לעיבוד נתונים. בנוסף, קפקא מתחבר למערכות חיצונית עבור ייבוא/ייצוא של נתונים באמצעות Kafka Connect ומגדיר לשימוש זרמי נתונים ("Kafka Streams") כספריית עיבוד נתונים בשפת Java. עיצוב הפלטפורמה מושפע מאוד ממימושי Transaction log הקיימים במערכות DBMS. להלן רשימה של ארגונים בולטים המשתמשים בקפקא: Betfair סיסקו מערכות Cloudflare Conviva Daumkakao eBay Hyperledger Fabric HubSpot נטפליקס ניו יורק טיימס PayPal פינטרסט Zscaler Shopify Spotify Ticketmaster אובר וולמארט Yelp Fiverr מדיה וקבצים בנושא אפאצ'י קפקא בוויקישיתוף אתר האינטרנט הרשמי של אפאצ'י קפקא (באנגלית) אפאצ'י קפקא, ברשת החברתית אקס (טוויטר) Monitoring Kafka performance metrics, Datadog Engineering Blog, accessed 23 May 2016/ The Log: What every software engineer should know about real-time data's unifying abstraction, LinkedIn Engineering Blog, accessed 5 May 2014 "Exchange Market Data Streaming with Kafka". betsandbits.com. אורכב מ-המקור ב-2016-05-28. "OpenSOC: An Open Commitment to Security". Cisco blog. נבדק ב-2016-02-03. "More data, more data". אורכב מ-המקור ב-2018-10-21. נבדק ב-2017-12-18. "Conviva home page". Conviva. 2017-02-28. אורכב מ-המקור ב-2017-06-02. נבדק ב-2017-05-16. Doyung Yoon. "S2Graph : A Large-Scale Graph Database with HBase". אורכב מ-המקור ב-2016-03-09. נבדק ב-2017-12-18. "Kafka Usage in Ebay Communications Delivery Pipeline". "Cryptography and Protocols in Hyperledger Fabric" (PDF). בינואר 2017. אורכב מ-המקור (PDF) ב-2017-07-02. נבדק ב-2017-05-05. {{cite web}}: (עזרה) "Kafka at HubSpot: Critical Consumer Metrics". אורכב מ-המקור ב-2018-11-19. נבדק ב-2017-12-18. Cheolsoo Park and Ashwin Shankar. "Netflix: Integrating Spark at Petabyte Scale". אורכב מ-המקור ב-2016-03-04. נבדק ב-2017-12-18. Boerge Svingen. "Publishing with Apache Kafka at The New York Times". אורכב מ-המקור ב-2017-09-17. נבדק ב-2017-09-19. Shibi Sudhakaran of PayPal. "PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)". Couchbase. נבדק ב-2016-02-03. Boyang Chen Pinterest. "Pinterest:Using Kafka Streams API for predictive budgeting". נבדק ב-2018-02-21. {{cite web}}: |author= has generic name (עזרה) "Shopify - Sarama is a Go library for Apache Kafka". Josh Baer. "How Apache Drives Spotify's Music Recommendations". אורכב מ-המקור ב-2016-03-09. נבדק ב-2017-12-18. Patrick Hechinger. "CTOs to Know: Meet Ticketmaster's Jody Mulkey". אורכב מ-המקור ב-2018-10-21. נבדק ב-2017-12-18. "Stream Processing in Uber". InfoQ. נבדק ב-2015-12-06. "Apache Kafka for Item Setup". medium.com. נבדק ב-2017-06-12. "Streaming Messages from Kafka into Redshift in near Real-Time". Yelp. אורכב מ-המקור ב-2017-06-03. נבדק ב-2017-07-19. "Scaling Production data across Microservices @ Fiverr / Erik Ashepa". Youtube. נבדק ב-2019-07-10.