2019 年度公開講座（第 2 日）

第 44 頁σʔλղੳͱ౷‫ֶܭ‬ኍ੉ɹ‫ ܛ‬2019.8.111͸͡Ίʹۙ೥ɼ‫ػ‬ցֶश΍౷‫ܭ‬ղੳͷιϑτ΢ΣΞ͕ී‫͠ٴ‬ɼσʔλղੳ͕਎ۙͳ΋ͷʹͳΓ·ͨ͠ɽ༧ଌਫ਼౓ͷߴ͍ిྗधཁ༧ଌ͸ɼΤωϧΪʔ‫ࡁܦ‬ͷ‫׆‬ੑԽɾ࠶Τωଅਐ΁ͱͭͳ͕Γ·͢ɽҨ఻ࢠσʔλղੳ͸ɼප‫ؾ‬ͷ༧ଌʹ໾ཱͪ·͢ɽ஍໘ͷԼͷಈ͖Λ෼ੳ͢Δ͜ͱʹΑΓɼ஍൫ͷߗ͞ΛਪఆͰ͖ɼ౔࠭ࡂ֐ͷ༧ଌ΁ͱ‫͕ܨ‬Γ·͢ɽσʔλղੳ͸ਓͷ໾ʹཱͭ༗༻ͳπʔϧͱͯ͠ɼࠓ‫͢·͢·ޙ‬ඞཁʹͳΔͱߟ͑ΒΕ·͢ɽੈͷதʹ౷‫ܭ‬ղੳख๏͸਺ଟ͘ଘࡏ͠·͕͢ɼ͋ΒΏΔ౷‫ܭ‬ղੳख๏ͷ‫͍ͯͬͳͱૅج‬Δͷ͕ɼઢ‫ܗ‬ճ‫ؼ‬ϞσϧͰ͢ɽ͜ͷςΩετͰ͸ɼઢ‫ܗ‬ճ‫ؼ‬ϞσϧͱϞσϧʹ‫·ؚ‬ΕΔύϥϝʔλͷਪఆ๏ʹ͍ͭͯղઆ͠·͢ɽ2ઢ‫ܗ‬ճ‫ؼ‬Ϟσϧճ‫ؼ‬Ϟσϧ͸ɼp ࣍‫ݩ‬આ໌ม਺ϕΫτϧ x = (x1 , . . . , xp )T ͔Β໨తม਺ y Λ༧ଌ͢ΔͨΊͷϞσϧͰ͢ɽ͜͜Ͱɼ“AT ” ͸ߦྻ A ͷసஔΛද͠·͢ɽͳ͓ɼx Λ p ࣍‫·͖ॻͱݩ‬͕ͨ͠ɼy Λ༧ଌ͢ΔͨΊͷม਺ͷ਺͕ p ‫͋ݸ‬ΔͱΠϝʔδ͍͚ͯͨͩ͠Δͱ෼͔Γ΍͍͔͢ͱࢥ͍·͢ɽͨͱ͑͹ɼҨ఻ࢠσʔλղੳͰ͸ɼx ͷ֤੒෼͸Ҩ఻ࢠɼy ͸ප‫ؾ‬ͷਐߦ౓ʢͨͱ͑͹͕Μͷେ͖͞ʣͳͲΛද͠·͢ɽճ‫ؼ‬ϞσϧΛߏங͢Δ͜ͱʹΑΓɼҨ఻ࢠσʔλ͔Βɼප‫Ͳ͕ؾ‬ͷ͘Β͍ਐߦ͢Δͷ͔ɼ༧ଌͰ͖ΔΑ͏ʹͳΓ·͢ɽઢ‫ܗ‬ճ‫ؼ‬Ϟσϧ͸ɼy = β0 + β1 x1 + β2 x2 + · · · + βp xp + εͰද͞Ε·͢ɽ͜͜Ͱɼβ0 , β1 , . . . , βp ͸ύϥϝʔλɼε ͸‫Ͱࠩޡ‬ɼ෼෍ ε ∼ (0, σ 2 ) ʹै͏ͱ͠·͢ɽσ 2 ͸෼ࢄύϥϝʔλͰɼ‫ࠩޡ‬ͷ͹Β͖ͭͷେ͖͞Λද͠·͢ɽզʑ͸ɼճ‫ؼ‬Ϟσϧͷύϥϝʔλ β0 , β1 , . . . , βp ͷ஋Λ஌Γ·ͤΜɽͦͷͨΊɼ͜ΕΒͷύϥϝʔλΛσʔλ͔Βਪఆ͢Δඞཁ͕͋Γ·͢ɽ‫؍‬ଌ͞Εͨσʔλ {(xi , yi ); i = 1, . . . , n}͔Βਪఆ͢Δํ๏ͱͯ͠ɼ࠷খೋ৐๏ͱ‫ݺ‬͹ΕΔํ๏͕͋Γ·͢ɽ࠷খೋ৐๏Ͱ͸ɼ‫ࠩޡ‬ͷೋ৐࿨S(β) =n!
i=1{yi − (β0 + β1 xi1 + β2 xi2 + · · · + βp xip )}21

第 45 頁

2019 年度公開講座（第 2 日）ͷ࠷খԽʹΑͬͯύϥϝʔλ β := (β0 , β1 , . . . , βp ) Λ‫ٻ‬Ί·͢ɽ͜͜Ͱɼxi = (xi1 , . . . , xip )TͰ͢ɽ࣮ࡍɼߦྻͱϕΫτϧΛ༻͍Δ͜ͱʹΑΓɼβ ͷ࠷খೋ৐ਪఆ஋ β̂ OLS ͸β̂ OLS = (X T X)−1 X T y(1)ͱཅʹ‫·ٻ‬Γ·͢∗ ɽͨͩ͠ɼX = (x̃1 , x̃2 , . . . , x̃n )T , y = (y1 , . . . , yn )Tͱ͠·͢ɽ͜͜Ͱɼx̃i = (1, xTi )T ͱ͠·͢ʢ“1”͸੾ย߲ʹରԠ͠·͢ʣɽ͜͜Ͱɼ৽ͨͳઆ໌ม਺ϕΫτϧ x ͕ಘΒΕͨͱ͖ɼ͖͞΄Ͳਪఆͨ͠ύϥϝʔλ β̂ OLSΛ༻͍ͯɹŷ = xT β̂ OLS
ͱͯ͠ y ͷ஋Λʮ༧ଌʯͰ͖·͢ɽ͜ͷ༧ଌ͸ɼͲΜͳ p ࣍‫ݩ‬આ໌ม਺΂Ϋτϧ x ʹରͯ͠΋ద༻Ͱ͖·͢ͷͰɼx ͑͞༩͑ΒΕΕ͹͙͢ʹ༧ଌ͕Ͱ͖ΔΑ͏ʹͳΔͷͰ͢ɽઢ‫ܗ‬ճ‫ؼ‬Ϟσϧ͸ʮສೳͳπʔϧʯʹ‫͢·͑ݟ‬ɽ͔͠͠ͳ͕Βɼ࣮ࡍ͸ͦ͏Ͱ͸͋Γ·ͤΜɽͳͥͳΒɼઢ‫ܗ‬ճ‫ؼ‬Ϟσϧ͸ɼʮy ͕ x1 , . . . , xp ͷઢ‫͖ͰࣅۙͰ߹݁ܗ‬Δʯͱ͍͏Ծ
ఆΛஔ͍͍ͯΔ͔ΒͰ͢ɽ͜ͷԾఆΛຬͨ͞ͳ͚Ε͹͏·͍͖͘·ͤΜɽ౷‫Ͱܭ‬͸ɼԿΒ͔ͷʮԾఆʯΛ͓͍ͯɼͦͷԾఆ͕ຬͨ͞Εͨͱ͖ͷཧ࿦ߏஙΛߦ͏͜ͱ͕ଟ͍ͷͰ͕͢ɼ࣮ࡍ໰୊ɼͦͷԾఆ͕‫Ͱ࣮ݱ‬ຬͨ͞ΕΔͷ͔Ͳ͏͔Θ͔Βͳ͍͜ͱ͕ଟ͍Ͱ͢ɽ͔͠͠ɼʮ͜ͷԾఆ͸ਖ਼ͦ͠͏ʯͱ͍͏͜ͱ͸Θ͔Γ·͢ɽͨͱ͑͹ɼσʔλΛϓϩοτͯ͠ઢ‫ܗ‬ͷؔ܎ੑʹ͋Ε͹ɼͳΜͱͳ͘ਖ਼͍͠ͱ‫͢Ͱ͏ͦ͑ݴ‬ɽ͞ΒʹɼԾઆ‫ݕ‬ఆΛ࢖͏ͱɼʮ౷‫ܭ‬తʹ͜ͷԾઆ͸༗ҙʹਖ਼͘͠ͳ͍ʯͱ͍͏Α͏ʹɼ͋ΔԾઆ͕ਖ਼͍͔͠Ͳ͏͔Λ౷‫ܭ‬తʹٞ࿦͢Δ͜ͱ͕Ͱ͖·͢ɽ΋ͪΖΜɼ
ʮ100%͜ͷԾఆ͸੒Γཱ͍ͬͯΔʯͱ͍͏͜ͱ͸͍͑·ͤΜ͕ɼࣗ৴Λ࣋ͬͯʮਖ਼ͦ͠͏Ͱ͋Δʯͱ͍͑Δͷ͸ॏཁͳ͜ͱͩͱࢥ͍·͢ɽ·ͨɼԾʹઢ‫͋Ͱܗ‬Δͱ͍͏Ծఆ͕ຬͨ͞Εͨͱͯ͠΋ɼҰൠʹɼαϯϓϧαΠζ͕খ͘͞ɼෆཁͳઆ໌ม਺ͷ਺͕େ͖͘ͳΔͱɼ༧ଌ‫͕ࠩޡ‬େ͖͘ͳΔͱ͍͏໰୊͕ੜ͡·͢ɽ

3Lassoۙ೥ɼઆ໌ม਺ͷ‫ ਺ݸ‬p ͸૿͖͓͑ͯͯΓɼͨͱ͑͹ɼҨ఻ࢠσʔλͩͱɼp ͕਺ສʹ

ͳΔ͜ͱ͕͋Γ·͢ɽ͜ͷͱ͖ɼ࠷খೋ৐๏Λ‫ٻ‬ΊΔ͜ͱ͕೉͘͠ͳΓ·͢ɽͨͱ͑͹ɼαϯϓϧαΠζ͕આ໌ม਺ͷ‫਺ݸ‬ΑΓখ͍͞ͱ͖ɼ͢ͳΘͪ n < p ͷͱ͖͸ɼX T X ͸‫ٯ‬∗‫ʹີݫ‬͸ɼX T X ͕‫ྻߦٯ‬Λ࣋ͭͱ͍͏৚͕݅ඞཁͰ͢ɽ

2

2019 年度公開講座（第 2 日）

第 46 頁ߦྻΛ࣋ͨͣɼ࠷খೋ৐ਪఆ஋Λ‫ͤ·͖Ͱࢉܭ‬Μɽ·ͨɼσʔλ͕େ‫ن‬໛ʹͳΕ͹ɼͦ΋ͦ΋ύϥϝʔλΛ‫͢ࢉܭͰػࢉܭ‬Δͱ͍͏͜ͱࣗମ͕ࠔ೉ʹͳΔ͜ͱ΋ଟʑ͋Γ·͢ɽ͜ΕΒͷ໰୊Λରॲ͢Δํ๏ͱͯ͠ɼਖ਼ଇԽ๏ͱ͍͏ͷ͕͋Γ·͢ɽͱ͘ʹɼTibshirani(1996, JRSSB) ͷఏҊͨ͠ Lasso (Least absolute shrinkage and selection operator) ͸ɼp͕େ͖͍৔߹Ͱ΋༻͍Δ͜ͱ͕Ͱ͖Δํ๏ͱͯ͠޿͘༻͍ΒΕ͍ͯ·͢ɽLasso ਪఆ஋͸ҎԼͷؔ਺Λ࠷খԽ͢Δ͜ͱʹΑΓ‫ٻ‬ΊΒΕ·͢ɽ"#$%2ppn!
!
!
yi − β0 +βj xij+λ|βj |.
i=1

j=1j=1ͨͩ͠ɼλ ≥ 0 ͸ਖ਼ଇԽύϥϝʔλͱ͠·͢ɽ࠷খೋ৐๏ͱҟͳΔ఺͸ɼ্ͷࣜͷୈ 2 ߲໨ʹ͋Γ·͢ɽͭ͡͸ɼλ ͷ஋͕େ͖͚Ε͹ɼβ ͷ੒෼ͷͪɼ͍͔͕ͭ͘ 0 ʹਪఆ͞ΕΔ͜ͱ͕஌ΒΕ͍ͯ·͢ɽ0 Ͱ͋Δͱ͍͏͜ͱ͸ɼରԠ͢Δม਺͸໨తม਺ʹӨ‫ڹ‬Λ༩͑ͳ͍ͱ͍͏͜ͱΛҙຯ͠·͢ɽͭ·Γɼlasso Λ࢖͏ͱɼෆཁͳม਺Λࣗಈతʹআ‫͠ڈ‬ɼඞཁͳม਺ͷΈϐοΫΞοϓͰ͖ΔͷͰ͢ɽ

Lasso ͷ໨తؔ਺ʹ͸ɼύϥϝʔλͷઈର஋ʹ‫| ߲ͮ͘ج‬βj | ͕ଘࡏ͠ɼ͜ͷ߲͸ βj = 0Ͱඍ෼ෆՄೳͰ͢ɽͦͷͨΊɼ਺ֶతʹѻ͍ʹ͍͘Ͱ͢ɽͨͱ͑͹ɼ(1) ࣜʹ͋ΔΑ͏ʹਪఆ஋Λղੳతʹ‫ٻ‬ΊΔͱ͍͏͜ͱ͕ࠔ೉ͱͳΓ·͢ɽ͔͠͠ͳ͕Βɼ2000 ೥͋ͨΓ͔Β‫ࢉܭ‬ΞϧΰϦζϜͱߴ࣍‫ݩ‬ͷཧ࿦͕ൃల͠ɼඍ෼ෆՄೳͰ΋࣮ࡍʹ PC Ͱಈ͔͢ͱ༗༻Ͱ͋Δ͜ͱ͕Θ͔͖ͬͯ·ͨ͠ɽ͜͜Ͱ͸‫ࢉܭ‬ΞϧΰϦζϜͱߴ࣍‫ݩ‬ͷཧ࿦ʹ͍ͭͯগ͠৮Ε͍ͨͱࢥ͍·͢ɽ3.1‫ࢉܭ‬ΞϧΰϦζϜ͍·ɼλ Λ༩͑ͨͱ͖ɼA = {j|β̂j $= 0} ͱఆٛ͠·͢ɽ͜ͷͱ͖ɼLasso ͷ໨తؔ਺Λඍ෼ͯ͠† ղ͘ͱɼβ̂ ͸࣍Ͱ༩͑ΒΕ·͢ɽβ̂A = (XAT XA )−1β̂AC = 0&'λTX A y − sA
2(2)(3)ͨͩ͠ɼβ̂A ͸ɼਪఆ஋ β̂ ͷ͏ͪ A ʹରԠ͢ΔཁૉͷΈΛऔΓग़ͨ͠ϕΫτϧͰ͢ɽ͜͜Ͱɼλ Λେ͖͍஋͔Βঃʑʹখ͍ͯͬͨ͘͞͠ͱ͖ͷਪఆ஋ β̂ ͕ͲͷΑ͏ʹมԽ͍ͯ͘͠ͷ͔Λ‫ͯݟ‬Έ·͢ɽ(2) ࣜΑΓɼLasso ղ͸۠෼ઢ‫͋Ͱܗ‬Δ͜ͱ͕Θ͔Γ·͕͢ɼ͢΂ͯͷ λ ʹର͢Δ β̂ Λ΋ͱΊΔͨΊʹɼ΋͏͢͜͠ৄ͘͠ௐ΂ͯΈ·͢ɽ·ͣɼे෼େ͖ͳ λ ʹରͯ͠ɼβ̂ = 0 Ͱ͢ɽβ̂ = 0 ͱͳΔ࠷খͷ λ Λ λ0 ͱ͢Δͱɼ(2) ࣜΑΓɼ†‫Ͱ఺ݪ‬ඍ෼ෆՄೳͳͷͰɼਖ਼֬ʹ͸ྼඍ෼ͱ͍͏֓೦Λ࢖͍·͢ɽ3

第 47 頁

2019 年度公開講座（第 2 日）∗T ∗∗λ0 = maxj |x∗Tj y|/xj xj Ͱ༩͑ΒΕ·͢ɽͨͩ͠ɼxj ͸ X ͷ j ྻ໨ΛऔΓग़ͨ͠ n ࣍‫ݩ‬∗T ∗ϕΫτϧͱ͠·͢ɽj1 = arg maxj |x∗Tj y|/xj xj ͱ͢Δͱɼλ Λ λ0 ΑΓগ͚ͩ͠খ͍͞ͱ

͖ͷਪఆ஋͸ɼA = {j1 } ͱͨ͠ͱ͖ͷ (2) ࣜͰ༩͑ΒΕ·͢ɽ͞Βʹ λ Λখ͘͢͞Δͱɼ

͋Δ j2 $= j1 ʹର͠ɼ͋Βͨͳඇθϩਪఆ஋ β̂j2 ͕ग़‫͢ݱ‬Δ λ1 ͕ଘࡏ͠·͢ɽ͜ͷͱ͖ɼ

A = {j1 , j2 } ͱߋ৽͠·͢ɽλ ͕ λ1 ΑΓগ͚ͩ͠খ͍͞ͱ͖ͷਪఆ஋͸ɼA = {j1 , j2 } ͱͨ͠ͱ͖ͷ (2) ࣜͰ༩͑ΒΕ·͢ɽҎԼɼಉ༷ʹͯ͠ม਺Λ௥Ճ·ͨ͸࡟আ͍͚ͯ͠͹ྑ͍ͱ͍͏͜ͱʹͳΓ·͢ɽม਺͕௥Ճ·ͨ͸࡟আ͞ΕΔॠؒͷ λ Λ λ∗ ͱ͢Δͱɼͭ͡͸ɼλ∗ ͸ཅʹ‫ٻ‬ΊΔ͜ͱ͕Ͱ͖·͢ɽ·ͨɼઌʹड़΂ͨΑ͏ʹɼλ Λ༩͑ͨͱ͖ɼਪఆ஋͸ (2) ࣜɼ(3) ࣜͰ༩͑ΒΕ·͢ɽͭ·Γɼ೚ҙͷ λ ʹର͢Δਪఆ஋͕ಘΒΕΔͱ͍͏͜ͱʹͳΓ·͢ɽ3.2ऩଋϨʔτ͍·ɼύϥϝʔλͷ΄ͱΜͲ͕ 0 Ͱ͋Δͱ͠·͢ɽύϥϝʔλ β ͷ͏ͪɼඇθϩཁૉʹରԠ͢Δఴ͑ࣈΛ S0 ͱ͠ɼβ = (βST0 , βSTC )T ͱ͠·͢ɽ·ͨɼS0 ͷେ͖͞ʢඇθϩཁૉ0ͷ਺ʣΛ s0 ͱ͠·͢ɽ͍·ɼ༧ଌਫ਼౓ͱಉ౳ͷ࣍ͷೋ৐‫ͮ͘جʹࠩޡ‬ϦεΫR=

1%X β̂ − Xβ%22n

ΛධՁ͢Δ͜ͱΛߟ͑·͢ɽ͜ͷ஋͕ɼn ͕େ͖͘ͳΔʹͭΕͯ 0 ʹ͚ۙͮ͹ɼ༧ଌ஋͕ʢฏ‫ۉ‬తʹʣਖ਼͍͠஋ʹऩଋ͠·͢ɽ͕ͨͬͯ͠ɼn ͕े෼େ͖͍ͱ͖ɼR ͕ 0 ʹۙͮ͘͜ͱΛࣔͤ͹ɼਫ਼౓Α͘༧ଌͰ͖Δͱ‫ ‡͢·͑ݴ‬ɽ࠷খೋ৐ਪఆྔʹର͢Δೋ৐‫ࠩޡ‬ϦεΫ R ͷ‫ظ‬଴஋͸ɼ

E[R] =1pE%X(X T X)−1 X T ε%22 = σ 2nn(4)Ͱ༩͑ΒΕ·͢§ ɽ͜ΕΑΓɼp ͕େ͖͍ͱ͖͸ɼE[R] ͸େ͖͘ͳͬͯ͠·͍·͢ɽͨͱ͑͹ɼp = n/2 ͱ͢ΔͱɼE[R] = σ 2 /2 ͱͳΓɼn → ∞ ͱͯ͠΋ 0 ʹऩଋ͠·ͤΜɽԾʹਅͷඇθϩू߹ S0 Λ஌͍ͬͯΔͱͯ͠ɼ࠷খೋ৐๏ʹΑͬͯਪఆͨ͠ͱ͢Δͱɼ

E[R] =1s0
E%X β̂S0 − Xβ%22 = σ 2nn‡(5)‫ ࠩޡ‬ε ͕֬཰ม਺Ͱ͋ΔͨΊɼR ΋֬཰ม਺ͱͳΓ·͢ɽͦͷͨΊɼ‫ʹີݫ‬͸ɼlimn→∞ R = 0 Λࣔ͢ͱ͍͏͜ͱ͸Ͱ͖·ͤΜɽਖ਼֬ʹ͸ɼ֬཰ऩଋ΍֓ऩଋͱ͍͏ɼී௨ͷ਺ྻͱ͸ҧͬͨऩଋΛߟ͑Δඞཁ͕͋Γ·͢ɽ§‫ʹີݫ‬͸ n < p ͷͱ͖ʹ࠷খೋ৐ਪఆ஋͸ଘࡏ͠ͳ͍ͨΊɼ͜͜Ͱ͸ n > p Ͱ p ͕ n ʹे෼͍ۙͱ͖
Λߟ͍͑ͯ·͢ɽ4

2019 年度公開講座（第 2 日）

第 48 頁ͱͳΓ·͢ɽΑͬͯɼs0 ( p ͷͱ͖ʢ͢ͳΘͪे෼ʹεύʔεͳͱ͖ʣϦεΫͷ‫ظ‬଴஋E[R] ͸ (4) ࣜͱൺ΂ͯे෼ʹখ͘͞ͳΓ·͢ɽ΋ͪΖΜɼզʑ͸ू߹ S0 Λ஌Βͳ͍ͷͰɼβ̂S0 Λ‫ٻ‬ΊΔ͜ͱ͸ෆՄೳͰ͋Γɼ(5) ࣜ͸ɼʮཧ૝తͳঢ়‫گ‬ԼͰಘΒΕͨਪఆྔʹର͢Δ
ϦεΫʯͱղऍͰ͖·͢ɽ·ͨɼ(5) ࣜͷӈล͸ɼn → ∞ ͱͨ͠ͱ͖ʹ 0 ʹऩଋ͠·͢ͷͰɼlim E[R] = 0n→∞(6)͕੒Γཱͪ·͢ɽͦ͜Ͱɼ(5) ࣜͷϦεΫʹ͚ۙͮΔ͜ͱΛ໨ඪͱ͠·͢ɽ࠷খೋ৐๏͸ (6) ͕ࣜ੒Γཱͪ·ͤΜ͕ɼͭ͡͸ɼLasso ͸ͦΕʹ͍ۙ݁Ռ͕ಘΒΕ·͢ɽͨͩɼ‫ܭ‬ըߦྻ X ʹର੍ͯ͠໿৚݅Λ՝͢ඞཁ͕͋Γ·͢ɽ୅දతͳ৚͕݅ɼcompatibilitycondition ͱ‫ݺ‬͹ΕΔ৚݅ͰɼX T X ͷ࠷খ‫ݻ‬༗஋͕খ͗͢͞ͳ͍ͱ͍͏৚݅ͱΈͳ͢͜ͱ͕Ͱ͖·͢¶ ɽ͜ͷͱ͖ɼʢ͔ͳΓϥϑʹॻ͘ͱʣɼn ͕े෼େ͖͍ͱ͖ɼߴ͍֬཰ͰR≤Clog pn(7)͕੒Γཱͪ·͢ɽ͜͜ͰɼC ͸ n, p ʹґଘ͠ͳ͍ఆ਺Ͱ͢ɽ

(7) ࣜΛ‫ݟ‬Δͱɼӈล͕ (5) ࣜΑΓ͸େ͖͍஋Λͱ͍ͬͯΔ΋ͷͷɼ(4) ࣜͷ஋ΑΓ͸໌Β͔ʹখ͍͞Ͱ͢ɽ࣮ࡍɼp ͕े෼ʹେ͖͍ͱ͖ɼ෼ࢠͷ p ͱ log p ͷࠩ͸େ͖͍Ͱ͢ɽͨͱ͑͹ɼp = 10000 ͷͱ͖ɼlog p ≈ 9.21 Ͱ͢ɽͨͱ͑͹ɼp Λ n ʹґଘͤͯ͞ɼpn = nk(k > 1) ͱ͢Δͱɼ(7) ࣜͷӈล͸ 0 ʹऩଋ͠·͢ɽ͜ΕΑΓɼ(6) ࣜʹ͍ۙੑ࣭͕੒ΓཱͭͷͰ͢ɽ࠷খೋ৐๏ʢ͢ͳΘͪ (4) ࣜʣͰ͸͜ͷੑ࣭͸શ͘੒Γཱͪ·ͤΜɽ͓ΘΓʹ

4Lasso ͸ޮ཰తͳΞϧΰϦζϜ͕ଘࡏ͠ɼ͔ͭ n < p ͷͱ͖ʹ౷‫ܭ‬తʹྑ͍ੑ࣭Λ࣋ͪ·͢ɽͦΕΏ͑ɼLasso ͸༗༻ͳπʔϧͰ͋Γɼ࣮ࡍɼ༷ʑͳ৔໘Ͱ࢖ΘΕ·͢ɽ͔͠͠ͳ͕ΒɼLasso ͸͍ͭ΋ n < p ͷͱ͖ʹ͏·͍͘͘ͱ͸͔͗Γ·ͤΜɽͱ͍͏ͷ΋ɼLasso͕͏·͘‫ػ‬ೳ͢ΔͨΊʹ͸ɼ(7) ࣜͷ compatibility condition Λຬͨ͢ඞཁ͕͋Δ͔ΒͰ͢ɽͭ͡͸ɼ͜ͷ৚݅͸ͱͯ΋‫͘ڧ‬ɼ‫࣮ݱ‬ͷ৔໘Ͱ͸͜ͷ৚݅Λຬ͍ͨͯ͠Δঢ়‫گ‬͸͋·Γͳ͍ͱ‫ͯͬݴ‬΋͍͍͔΋͠Ε·ͤΜɽͨͱ͑͹ɼҨ఻ࢠσʔλʹରͯ͠͸ɼҨ఻ࢠؒʹ͸େ͖ͳ૬͕ؔ͋ΓɼLasso ͸͏·͘‫ػ‬ೳ͠ͳ͍Մೳੑ͕ߴ͍Ͱ͢ɽҰํͰɼը૾σʔλͷ෮‫ݩ‬͸ɼม਺ؒʹେ͖ͳ૬ؔؔ܎͕͋·Γͳ͘ɼLasso ͕͏·͘‫ػ‬ೳ͢Δ͜ͱ͕ଟ͍ͱߟ͑ΒΕ·͢ɽ࣮ࡍɼLasso ͸ը૾σʔλղੳͱͷ૬ੑ͕ྑ͍Ͱ͢ɽ͜ͷΑ͏ʹɼख๏ͷಛ௃Λཧղ͓ͯ͘͜͠ͱ͕ɼΑΓΑ͍ղੳ΁ͱͭͳ͕Γ·͢ɽ¶࣮ࡍʹ͸΋͏গ͠ΏΔ͍৚݅Ͱ͢ɽ5

第 49 頁

2019 年度公開講座（第 2 日）Aจ‫ݙ‬౷‫ܭ‬ղੳ΍ճ‫ؼ‬෼ੳͷ‫͍ͯͭʹૅج‬͸ɼଟ͘ͷ਺ཧ౷‫ֶܭ‬ͷຊʹॻ͔Ε͓ͯΓɼྫ͑͹ҎԼͷຊʹ͸ɼճ‫ؼ‬෼ੳʹ͍ͭͯൺֱతৄ͘͠ॻ͔Ε͍ͯ·͢ɽ[1] Ҵ֞એੜ (2003)ɽ਺ཧ౷‫ֶܭ‬ɽী՚๪ɽ
Lasso ͷΞϧΰϦζϜ΍ߴ࣍‫ݩ‬ͷཧ࿦͸ҎԼͷຊʹৄ͘͠ॻ͔Ε͍ͯ·͢ɽ[2] Hastie, T., Tibshirani, R., & Wainwright, M. (2015). Statistical learning with sparsity: the lasso and generalizations. Chapman and Hall/CRC.
·ͨɼϓϩάϥϜ R Λ࢖͍ͳ͕Β༷ʑͳղੳख๏ʹ͍ͭͯઆ໌ͨ͠ɼΑΓ࣮ફతͳຊͱͯ͠ɼ

[3] James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An introduction tostatistical learning. New York: Springer.
͕͋Γ·͢ɽ6