סדר התכנסות

באנליזה נומרית, סדר ההתכנסות וקצב ההתכנסות של סדרה מתכנסת הם מדדים המציינים עד כמה מהר הסדרה מתקרבת אל הגבול שלה. עבור סדרה { x n } n = 1 ∞ {\displaystyle \{x_{n}\}_{n=1}^{\infty }} המתכנסת ל x ∗ {\displaystyle x^{*}} נאמר כי סדר ההתכנסות שלה הוא q ≥ 1 {\displaystyle q\geq 1} וקצב ההתכנסות שלה הוא μ {\displaystyle \mu } אם: lim n → ∞ | x n + 1 − x ∗ | | x n − x ∗ | q = μ . {\displaystyle \lim _{n\rightarrow \infty }{\frac {\left|x_{n+1}-x^{*}\right|}{\left|x_{n}-x^{*}\right|^{q}}}=\mu .} קצב ההתכנסות μ {\displaystyle \mu } נקרא גם קבוע השגיאה האסימפטוטית. שימו לב שהטרמינולוגיה הזו אינה סטנדרטית וחלק מהכותבים ישתמשו בקצב כאשר מאמר זה משתמש בסדר (למשל, ). בפועל, קצב וסדר ההתכנסות מספקים תובנות שימושיות בעת שימוש בשיטות איטרטיביות לחישוב קירובים נומריים. כאשר סדר ההתכנסות גבוה, בדרך כלל ניתן להגיע לקירוב הרצוי בפחות איטרציות. עם זאת, ההתנהגות האסימפטוטית של סדרה אינה נותנת מידע סופי לגבי חלק סופי כלשהו שלה. מושגים דומים משמשים לשיטות דיסקרטיזציה. הפתרון של הבעיה הדיסקרטית מתכנס לפתרון הבעיה הרציפה כאשר גודל הרשת הולך לאפס, ומהירות ההתכנסות היא אחד הגורמים ליעילות השיטה. עם זאת, הטרמינולוגיה, במקרה זה, שונה מהטרמינולוגיה של שיטות איטרטיביות. האצת התכנסות סדרה היא אוסף של טכניקות לשיפור קצב ההתכנסות של סדרה כלשהי. האצה כזו מושגת בדרך כלל עם טרנספורמציות רצף. בהינתן שהסדרה { x n } n = 1 ∞ {\displaystyle \{x_{n}\}_{n=1}^{\infty }} מתכנסת למספר L {\displaystyle L} , נאמר כי היא מתכנסת ל L {\displaystyle L} מסדר q {\displaystyle q} , ועם קצב התכנסות μ {\displaystyle \mu } , אם lim k → ∞ | x k + 1 − L | | x k − L | q = μ {\displaystyle \lim _{k\to \infty }{\frac {|x_{k+1}-L|}{|x_{k}-L|^{q}}}=\mu } עבור קבוע חיובי μ ∈ ( 0 , ∞ ) {\displaystyle \mu \in (0,\infty )} אם q > 1 {\displaystyle q>1} , ו μ ∈ ( 0 , 1 ) {\displaystyle \mu \in (0,1)} אם q = 1 {\displaystyle q=1} . עם זאת, אין דרישה כי q {\displaystyle q} יהיה מספר שלם. לדוגמה, לשיטת המיתר, כאשר מתכנסים לשורש פולינומי, יש סדר של φ ≈ 1.618. כאשר q = 1 {\displaystyle q=1} נאמר כי הסדרה מתכנסת ליניארית אם μ ∈ ( 0 , 1 ) {\displaystyle \mu \in (0,1)} , ונאמר שהרצף מתכנס Q-ליניארית ל L {\displaystyle L} . כאשר q = 2 {\displaystyle q=2} נאמר כי הסדרה מתכנסת ריבועית. שיטה מעשית לחישוב סדר ההתכנסות של סדרה היא באמצעות הסדרה הבאה המתכנסת ל- q {\displaystyle q}  : lim k → ∞ log ⁡ | x k + 1 − x k x k − x k − 1 | log ⁡ | x k − x k − 1 x k − 1 − x k − 2 | = q {\displaystyle \lim _{k\to \infty }{\frac {\log \left|{\frac {x_{k+1}-x_{k}}{x_{k}-x_{k-1}}}\right|}{\log \left|{\frac {x_{k}-x_{k-1}}{x_{k-1}-x_{k-2}}}\right|}}=q} בנוסף להתכנסות Q-ליניארית שהוגדרה קודם לכן, קיימות עוד כמה הגדרות ל-Q-התכנסות. נאמר כי הסדרה מתכנסת Q-על-ליניארית ל- L {\displaystyle L} (כלומר מהיר יותר מליניארי) בכל המקרים שבהם q > 1 {\displaystyle q>1} וגם המקרה q = 1 , μ = 0 {\displaystyle q=1,\mu =0} . בהינתן הגדרה 1, נאמר שהרצף מתכנס Q-תת-ליניארי אל L {\displaystyle L} (כלומר איטי יותר מליניארי) אם q = 1 , μ = 1 {\displaystyle q=1,\mu =1} . הרצף { x n } n = 1 ∞ {\displaystyle \{x_{n}\}_{n=1}^{\infty }} מתכנס לוגריתמית ל L {\displaystyle L} אם הרצף מתכנס באופן Q-תת-ליניארי ובנוסף אם lim k → ∞ | x k + 2 − x k + 1 | | x k + 1 − x k | = 1 {\displaystyle \lim _{k\to \infty }{\frac {|x_{k+2}-x_{k+1}|}{|x_{k+1}-x_{k}|}}=1} . שימו לב שבניגוד להגדרות קודמות, התכנסות לוגריתמית אינה נקראת "Q-לוגריתמית". בהגדרות לעיל, הקידומת "Q-" מייצגת את המילה "quotient" מכיוון שהמונחים מוגדרים באמצעות המנה בין שני מונחים עוקבים. עם זאת, לעיתים קרובות, הקידומת "Q" נשמטת ונאמר בפשטות שלרצף יש התכנסות ליניארית, התכנסות ריבועית וכו'. להגדרות Q-התכנסות יש חסרון בכך שהן אינן כוללות רצפים מסוימים (דוגמה לכך למטה) שמתכנסים מהר למדי, אך שיעורם משתנה. לכן, ההגדרה של שיעור ההתכנסות מורחבת כדלקמן. נניח ש { x n } n = 1 ∞ {\displaystyle \{x_{n}\}_{n=1}^{\infty }} מתכנס ל L {\displaystyle L} . אומרים שהרצף מתכנס R-ליניארית אל L {\displaystyle L} אם קיים רצף { ϵ n } n = 1 ∞ {\displaystyle \{\epsilon _{n}\}_{n=1}^{\infty }} כך ש | x k − L | ≤ ε k for all  k , {\displaystyle |x_{k}-L|\leq \varepsilon _{k}\quad {\text{for all }}k\,,} ו ( ε k ) {\displaystyle (\varepsilon _{k})} מתכנס Q-ליניארית לאפס. הקידומת "R-" מייצגת "שורש",,. נבחן את הסדרה: { a k } k = 1 ∞ = { 1 , 1 2 , 1 4 , 1 8 , 1 16 , 1 32 , … , 1 2 k , . . . } . {\displaystyle \{a_{k}\}_{k=1}^{\infty }=\left\{1,{\frac {1}{2}},{\frac {1}{4}},{\frac {1}{8}},{\frac {1}{16}},{\frac {1}{32}},\ldots ,{\frac {1}{2^{k}}},...\right\}.} ניתן להראות שסדרה זו מתכנסת ל L = 0 {\displaystyle L=0} . כדי לקבוע את סוג ההתכנסות, נציב את הסדרה בהגדרה של התכנסות Q-ליניארית, lim k → ∞ | 1 / 2 k + 1 − 0 | | 1 / 2 k − 0 | = lim k → ∞ 2 k 2 k + 1 = 1 2 . {\displaystyle \lim _{k\to \infty }{\frac {\left|1/2^{k+1}-0\right|}{\left|1/2^{k}-0\right|}}=\lim _{k\to \infty }{\frac {2^{k}}{2^{k+1}}}={\frac {1}{2}}.} לפיכך, אנו מוצאים כי ( a k ) {\displaystyle (a_{k})} מתכנס Q-ליניארית ויש לו קצב התכנסות של μ = 1 / 2 {\displaystyle \mu =1/2} . באופן כללי יותר, לכל c ∈ R , μ ∈ ( − 1 , 1 ) {\displaystyle c\in \mathbb {R} ,\mu \in (-1,1)} , הרצף ( c μ k ) {\displaystyle (c\mu ^{k})} מתכנס באופן ליניארי עם הקצב | μ | {\displaystyle |\mu |} . הסדרה { b k } k = 1 ∞ = { 1 , 1 , 1 4 , 1 4 , 1 16 , 1 16 , … , 1 4 ⌊ k 2 ⌋ … } {\displaystyle \{b_{k}\}_{k=1}^{\infty }=\left\{1,1,{\frac {1}{4}},{\frac {1}{4}},{\frac {1}{16}},{\frac {1}{16}},\ldots ,{\frac {1}{4^{\left\lfloor {\frac {k}{2}}\right\rfloor }}}\,\ldots \right\}} מתכנסת גם היא באופן ליניארי ל-0 עם קצב 1/2 בהגדרת התכנסות R, אך לא בהגדרת התכנסות Q. (שימו לב כי ⌊ x ⌋ {\displaystyle \lfloor x\rfloor } היא פונקציית הרצפה) הסדרה { c k } k = 1 ∞ = { 1 2 , 1 4 , 1 16 , 1 256 , 1 65 , 536 , … , 1 2 2 k … } {\displaystyle \{c_{k}\}_{k=1}^{\infty }=\left\{{\frac {1}{2}},{\frac {1}{4}},{\frac {1}{16}},{\frac {1}{256}},{\frac {1}{65,\!536}},\ldots ,{\frac {1}{2^{2^{k}}}}\ldots \right\}} מתכנסת בצורה על-ליניארית. למעשה, היא מתכנס באופן ריבועי. לבסוף, הרצף { d k } k = 1 ∞ = { 1 , 1 2 , 1 3 , 1 4 , 1 5 , 1 6 , … , 1 k + 1 , … } {\displaystyle \{d_{k}\}_{k=1}^{\infty }=\left\{1,{\frac {1}{2}},{\frac {1}{3}},{\frac {1}{4}},{\frac {1}{5}},{\frac {1}{6}},\ldots ,{\frac {1}{k+1}},\ldots \right\}} מתכנס באופן תת-ליניארי ולוגריתמי. מצב דומה קיים עבור שיטות דיסקרטיזציה המיועדות לקירוב פונקציה y = f ( x ) {\displaystyle y=f(x)} , שעשויה להיות אינטגרל המקורב על ידי ריבוע מספרי, או פתרון של משוואה דיפרנציאלית רגילה (ראו דוגמה למטה). שיטת הדיסקרטיזציה יוצרת רצף y 0 , y 1 , y 2 , y 3 , . . . {\displaystyle {y_{0},y_{1},y_{2},y_{3},...}} , כאשר כל איבר y j {\displaystyle y_{j}} הוא פונקציה של y j − 1 , y j − 2 , . . . {\displaystyle y_{j-1},y_{j-2},...} יחד עם מרווח הרשת h {\displaystyle h} בין ערכים עוקבים של המשתנה הבלתי תלוי x {\displaystyle x} . הפרמטר החשוב כאן למהירות ההתכנסות ל y = f ( x ) {\displaystyle y=f(x)} הוא מרווח הרשת h {\displaystyle h} , ביחס הפוך למספר נקודות הרשת, כלומר מספר הנקודות בסדרה הנדרש כדי להגיע לערך נתון של x {\displaystyle x} . במקרה זה, נאמר כי הסדרה { y n } n = 1 ∞ {\displaystyle \{y_{n}\}_{n=1}^{\infty }} מתכנסת לסדרה f ( x n ) {\displaystyle f(x_{n})} עם סדר q אם קיים קבוע C כזה ש | y n − f ( x n ) | < C h q  for all  n . {\displaystyle |y_{n}-f(x_{n})|<Ch^{q}{\text{ for all }}n.} ניתן לכתוב זאת כי | y n − f ( x n ) | = O ( h q ) {\displaystyle |y_{n}-f(x_{n})|={\mathcal {O}}(h^{q})} באמצעות סימון O גדול. זוהי ההגדרה הרלוונטית כאשר דנים בשיטות לריבוע מספרי או לפתרון של משוואות דיפרנציאליות רגילות.  שיטה מעשית להערכת סדר ההתכנסות עבור שיטת דיסקרטיזציה היא בחירת גודלי צעדים h new {\displaystyle h_{\text{new}}} ו h old {\displaystyle h_{\text{old}}} וחישוב השגיאות המתקבלות e new {\displaystyle e_{\text{new}}} ו e old {\displaystyle e_{\text{old}}} . סדר ההתכנסות מוערך לאחר מכן על ידי הנוסחה הבאה: q ≈ log ⁡ ( e new / e old ) log ⁡ ( h new / h old ) , {\displaystyle q\approx {\frac {\log(e_{\text{new}}/e_{\text{old}})}{\log(h_{\text{new}}/h_{\text{old}})}},} שמקורה בכתיבת שגיאת החיתוך, במרווחי הרשת הישנים והחדשים, כמו e = | y n − f ( x n ) | = O ( h q ) . {\displaystyle e=|y_{n}-f(x_{n})|={\mathcal {O}}(h^{q}).} הטעות e {\displaystyle e} הוא, ליתר דיוק, שגיאת חיתוך גלובלית (GTE), בכך שהיא מייצגת סכום של שגיאות שנצברו על פני כל n {\displaystyle n} איטרציות, בניגוד לשגיאת חיתוך מקומית (LTE) על איטרציה אחת בלבד. בהינתן המשוואה הדיפרנציאלית הבאה d y d x = − κ y {\displaystyle {\frac {dy}{dx}}=-\kappa y} עם תנאי התחלה y ( 0 ) = y 0 {\displaystyle y(0)=y_{0}} . אנו יכולים לפתור את המשוואה הזו באמצעות שיטת אוילר: y n + 1 − y n h = − κ y n , {\displaystyle {\frac {y_{n+1}-y_{n}}{h}}=-\kappa y_{n},} אשר לאחר הזזת אגפים מובילה ל: y n + 1 = y n ( 1 − h κ ) . {\displaystyle y_{n+1}=y_{n}(1-h\kappa ).} במונחים של y ( 0 ) = y 0 {\displaystyle y(0)=y_{0}} , סדרה זו ניתנת לכתיבה באופן הבא, מתוך הבינום של ניוטון: y n = y 0 ( 1 − h κ ) n = y 0 ( 1 − n h κ + n ( n − 1 ) h 2 κ 2 2 + … ) {\displaystyle y_{n}=y_{0}(1-h\kappa )^{n}=y_{0}\left(1-nh\kappa +n(n-1){\frac {h^{2}\kappa ^{2}}{2}}+\dots \right)} הפתרון המדויק למשוואה דיפרנציאלית זו הוא y = f ( x ) = y 0 exp ⁡ ( − κ x ) {\displaystyle y=f(x)=y_{0}\exp(-\kappa x)} , המקביל לטור טיילור הבא ב h κ {\displaystyle h\kappa } ל h κ ≪ 1 {\displaystyle h\kappa \ll 1} : f ( x n ) = f ( n h ) = y 0 exp ⁡ ( − κ n h ) = y 0 [ exp ⁡ ( − κ h ) ] n = y 0 ( 1 − h κ + h 2 κ 2 2 + … ) n = y 0 ( 1 − n h κ + n 2 h 2 κ 2 2 + … ) . {\displaystyle f(x_{n})=f(nh)=y_{0}\exp(-\kappa nh)=y_{0}\left[\exp(-\kappa h)\right]^{n}=y_{0}\left(1-h\kappa +{\frac {h^{2}\kappa ^{2}}{2}}+\dots \right)^{n}=y_{0}\left(1-nh\kappa +{\frac {n^{2}h^{2}\kappa ^{2}}{2}}+\dots \right).} במקרה זה, שגיאת החיתוך היא e = | y n − f ( x n ) | = n h 2 κ 2 2 = O ( h 2 ) , {\displaystyle e=|y_{n}-f(x_{n})|={\frac {nh^{2}\kappa ^{2}}{2}}={\mathcal {O}}(h^{2}),} כך { y n } n = 1 ∞ {\displaystyle \{y_{n}\}_{n=1}^{\infty }} מתכנס ל f ( x n ) {\displaystyle f(x_{n})} עם שיעור התכנסות q = 2 {\displaystyle q=2} . המקרה של סדרות חוזרת x n + 1 := f ( x n ) {\displaystyle x_{n+1}:=f(x_{n})} המתרחש במערכות דינמיות ובהקשר של משפטי נקודות שבת שונות הוא בעל עניין מיוחד. בהנחה שהנגזרות הרלוונטיות של f הן רציפות, אפשר (בקלות) להראות שעבור נקודה קבועה f ( p ) = p {\displaystyle f(p)=p} כך ש | f ′ ( p ) | < 1 {\displaystyle |f'(p)|<1} , יש התכנסות ליניארית לכל ערך התחלתי x 0 {\displaystyle x_{0}} קרוב מספיק ל - p. אם | f ′ ( p ) | = 0 {\displaystyle |f'(p)|=0} ו | f ″ ( p ) | < 1 {\displaystyle |f''(p)|<1} , אז יש לפחות התכנסות ריבועית, וכן הלאה. אם | f ′ ( p ) | > 1 {\displaystyle |f'(p)|>1} , אז יש נקודת שבת בלתי יציבה ואין ערך התחלתי עבורו קיימת סדרה שתתכנס ל - p (אלא אם כן יקפוץ ישירות לנקודה p עצמה). קיימות שיטות רבות להגברת קצב ההתכנסות של סדרה נתונה, כלומר להפוך סדרה נתונה לכזו המתכנסת מהר יותר לאותו גבול. מטרת האצת קצב ההתכנסות היא לפחות את עלות המשאבים של החישוב. דוגמה אחת להאצת סדרה היא אלגוריתם דלתא בריבוע של Aitken. שיטות אלו באופן כללי (ובפרט שיטת אייטקן) אינן מגדילות את סדר ההתכנסות, והן מועילות רק אם התכנסות מלכתחילה אינה מהירה יותר מליניארית: אם ( x n ) {\displaystyle (x_{n})} מתכנס באופן ליניארי, מקבלים רצף ( a n ) {\displaystyle (a_{n})} שעדיין מתכנס באופן ליניארי (למעט מקרים מיוחדים בתכנון פתולוגי), אבל מהר יותר במובן זה lim ( a n − L ) / ( x n − L ) = 0 {\displaystyle \lim(a_{n}-L)/(x_{n}-L)=0} . מצד שני, אם ההתכנסות כבר בסדר גדול מ-2, שיטת Aitken לא תביא שיפור. Ruye, Wang (2015-02-12). "Order and rate of convergence". hmc.edu. נבדק ב-2020-07-31. Senning, Jonathan R. "Computing and Estimating the Rate of Convergence" (PDF). gordon.edu. נבדק ב-2020-08-07. Bockelman, Brian (2005). "Rates of Convergence". math.unl.edu. נבדק ב-2020-07-31. Hundley, Douglas. "Rate of Convergence" (PDF). Whitman College. נבדק ב-2020-12-13.{{cite web}}: תחזוקה - ציטוט: url-status (link) Porta, F. A. (1989). "On Q-Order and R-Order of Convergence" (PDF). Journal of Optimization Theory and Applications. 63 (3): 415–431. doi:10.1007/BF00939805. נבדק ב-2020-07-31. Arnold, Mark. "Order of Convergence" (PDF). University of Arkansas. נבדק ב-2022-12-13.{{cite web}}: תחזוקה - ציטוט: url-status (link) Van Tuyl, Andrew H. (1994). "Acceleration of convergence of a family of logarithmically convergent sequences" (PDF). Mathematics of Computation. 63 (207): 229–246. doi:10.2307/2153571. JSTOR 2153571. נבדק ב-2020-08-02. Nocedal, Jorge; Wright, Stephen J. (2006). Numerical Optimization (2nd ed.). Berlin, New York: Springer-Verlag. ISBN 978-0-387-30303-1.