Ludviga II milzīgie izdevumi piļu celtniecībai, viņa noslēgtais dzīves veids un nevēlēšanās pavadīt laiku Minhenē augstmaņu sabiedrībā radīja iemeslu uzskatīt viņu par ekscentrisku, vai pat sirgstošu ar garīga rakstura traucējumiem. Viņam izvirzīja apsūdzības, uz kurām pamatojoties, viņu gāza no troņa. Ludvigs II tika sagūstīts un aizvests uz Bergas pili pie Štarnbergas ezera. Jau nākamajā dienā viņš, un arī viņam norīkotais ārsts, tika atrasti noslīkuši ezerā pavisam nelielā dziļumā. Ņemot vērā, ka Ludvigs II bija labs peldētājs, tas izsauca aizdomas un dažādas sazvērestības teorijas, kas tā arī palikušas bez apstiprinājuma.