Det som imidlertid beseglet Ludwigs skjebne var hans stadig svakere interesse for utførelsen av kongelige plikter. Han innså trolig at det fremvoksende Tyskland ville gå på bekostning av Bayerns selvstendighet og innebære en svekkelse av hans egen posisjon. Deprimert over de voksende politiske og økonomiske utfordringene, valgte han å tilbringe stadig mer av sin tid avsondret fra folket, kun opptatt av den fantasiverden han skapte for seg selv i slottene sine.