En annen viktig person for Ludwig i løpet av denne tiden var keiserinne Elisabeth av Østerrike, hans uavhengige og karismatiske kusine. Under et møte med andre aristokratiske familier i Bad Ischl i Østerrike, deler Elisabeth og Ludwig et kyss. Elisabeth er imidlertid mer interessert i ekteskap mellom sin vakre, kultiverte søster Sophie og Ludwig, men kongen ignorerer Sophie. Ludwig ønsker at Bayern skal forbli nøytral under Den østerriksk-prøyssiske krig i 1866.