Su interés en construir Neuschwanstein fue despertado por dos viajes: En mayo de 1867 visitó a su hermano Otto en el castillo de Wartburg en Eisenach y en julio del mismo año visitó el castillo de Pierrefonds, que había sido restaurado de por Eugène Viollet-le-Duc respetando su estilo histórico del edificio.