Distributed Online Learning and Optimization using the Fixed-time Approach

Gradient-based algorithms play an important role in solving a wide range of online learning and optimization problems. Despite being inherently sequential, these algorithms have been successfully parallelized due to their scalability to large-scale problems. In distributed systems, however, processing speed varies unpredictably across compute nodes. Slow computing nodes called stragglers can present a serious computational bottleneck in distributed systems. One way to alleviate the straggler effect is to use asynchronous methods. In a typical asynchronous scheme, workers calculate a fixed minibatch of gradients with respect to out-of-date optimization parameters while the master uses stale gradients to update the parameters. While stale gradients can slow the convergence, asynchronous methods speed up the overall optimization with respect to wall clock time by allowing more frequent updates and reducing idling times. In this dissertation, our aim is to design large-scale distributed optimization techniques that deliver idealized performance while automatically coping with the non-idealities of real-world distributed systems. We present novel algorithms using the fixed-time approach. In this approach, workers are assigned a fixed duration to compute gradients in each iteration. This approach results in time-varying minibatch sizes. The synchronous fixed-time variant termed Anytime Minibatch (AMB) has been shown to outperform the state-of-the-art fixed minibatch (FMB) approach in the presence of stragglers. We present two asynchronous variants: Anytime Minibatch with Delayed Gradients (AMB-DG) and Async-Timed. We analyze a distributed system deploying the fixed-time approach and present the convergence analysis of our schemes. We run experiments and show that our schemes outperform AMB and the state-of-the-art asynchronous FMB schemes. In addition, we analyze a general distributed system using an asynchronous FMB method. Our analysis is based on renewal theory. We derive the system bandwidth requirements and the expected gradient staleness. Gradient staleness is an important quantity that arises in asynchronous optimization but has received limited attention in the existing literature. Our derivations characterize the expected gradient staleness and present it in terms of other system parameters such as the number of nodes, the expected gradient compute time, and the expected communication delay. This representation helps provide more insight into the factors that affect convergence. يعد حل مسائل الاستمثال أو التحسين الرياضي من أكثر المسائل شيوعًا في المجالات والتطبيقات الهندسية خصوصا في مجالات تعلم الآلة والذكاء الصناعي. يُعتمد في حل هذه المسائل على خوارزميات قائمة على حساب تدرج وانحدار الدالة مثل خوارزمية الانحدار التدريجي العشوائي. يعتمد الأسلوب الكلاسيكي لحل هذه المسائل على استخدام هذه الخوارزميات المتسلسلة على جهاز حاسوب واحد حيث تخزن فيه البيانات كلها. ولكن مع الانفجار المعلوماتي خصوصًا في العقدين الأخيرين أصبح حل هذه الخوارزميات باستخدام جهاز واحد أشبه بالمستحيل خصوصا عند التعامل مع بيانات ضخمة لا يمكن تخزينها في جهاز واحد. وعليه ابتكر العلماء والمتخصصون أساليب لحل هذه الخوارزميات بشكل موزع. ولكن عند استخدام أنظمة موزعة مثل أنظمة الحوسبة السحابية لحل هذه المسائل والخوارزميات، قد تواجهنا بعض التحديات مثل اختلاف سرعات الحواسيب أثناء قيامها بحل المسائل بشكل غير قابل للتوقع. ينتج عن هذا بطء سير العمليات الحسابية خصوصا عند استخدام الخوارزميات الموزعة بطرق متزامنة. لحل هذه المشكلة يمكن استخدام خوارزميات غير متزامنة. في هذه الحالة تقوم الحواسيب العاملة بحساب انحدار أو تدرج الدالة في كل خطوة اعتمادًا على دفعات صغيرة وثابتة من البيانات وارسال الناتج إلى الخادم الرئيسي الذي يقوم بحساب العوامل المتغيرة أو عوامل التحسين دون الحاجة لانتظار نتائج الحواسيب البطيئة. هذا بدوره يؤدي إلى زيادة معدل تحديث عوامل التحسين ولكن باعتماد قيم قديمة لانحدار الدالة الأمر الذي قد يؤدي إلى تأخير الوصول إلى النتيجة النهائية المطلوبة. في هذه الأطروحة العلمية نقدم بحثنا الذي يهدف إلى تصميم خوارزميات موزعة لحل مسائل الاستمثال الرياضي المعتمدة على البيانات الضخمة مع زيادة سرعة الحساب والتعامل الأفضل مع مشاكل الحوسبة الموزعة. كما هو معلوم أن الخوارزميات المستخدمة حاليًا تعتمد على إعطاء كل حاسوب نفس الكمية من البيانات لمعالجتها في كل خطوة وحساب تدرج الدالة وهذا يؤدي إلى اختلاف أوقات انتهاء كل حاسوب بسبب تفاوت السرعات. في هذا البحث نقدم ابتكارًا جديدًا لحل هذه المسائل باستخدام أسلوب الوقت المحدد. باستخدام هذا الأسلوب فإن جميع الحواسيب ستنتهي من حسابها في نفس الوقت ولكن ستتفاوت في كمية البيانات المعالجة المستخدمة في حساب الانحدار. عند استخدام أسلوب الوقت المحدد بطريقة متزامنة ينتج عنه خوارزمية الدفعات الصغيرة في أي وقت ونشرت في بحث سابق وبينا فيه أن هذه الخوارزمية تتفوق على الخوارزميات المعتمدة على تحديد كمية البيانات. في هذه الأطروحة نستعرض خوارزميتين جديدتين تعتمدان على أسلوب الوقت المحدد ولكن بشكل غير متزامن ومن خلال التجارب نبين مدى تفوق هاتين الخوارزميتين على الخوارزميات غير المتزامنة. بالإضافة إلى الابتكار السابق فإن هذه الأطروحة تقوم بتقديم أسلوب جديد لتحليل الخوارزميات غير المتزامنة باستخدام أساليب مشابهة لتلك المستخدمة في نظرية الطابور والرائج استخدامها في مجال شبكات الحاسب الآلي. من أبرز النتائج التي نطرحها هنا هو حساب القيمة المتوقعة لمدى تأخر الانحدار أو التدرج وكيفية ارتباطه بعوامل أخرى من قبيل عدد الحواسيب العاملة وسرعة المعالجة أو الحساب وسرعة نقل المعلومات من الحواسيب العاملة إلى الخادم الرئيسي. ترجمة بعض المصطلحات: Optimization: الاستمثال أو التحسين الرياضي Stochastic Gradient Descent: الانحدار التدريجي العشوائي Distributed Systems: أنظمة موزعة Synchronous Method: طريقة متزامنة Asynchronous Method: طريقة غير متزامنة Workers: حواسيب عاملة Master: الخادم الرئيسي Gradient: انحدار أو تدرج Fixed Minibatch: دفعة صغيرة وثابتة من البيانات Optimization Parameters: عوامل التحسين Delayed or Stale Gradient: قيم قديمة للانحدار Anytime Minibatch: الدفعات الصغيرة في أي وقت Queueing Theory: نظرية الطابور Gradient Delay: تأخر الانحدار أو التدرج

Keywords: Distributed Computing
Online Learning
Optimization
Stragglers
Advisor: Draper, Stark C