En 1857, renunció a su derecho de primogenitura, que pasó a su hermano Carlos Teodoro al contraer matrimonio morganáticamente con una actriz de teatro, Henriette Mendel (1833-1891), a quien, tras la boda, el rey Maximiliano I de Baviera le otorgó el título nobiliario de baronesa de Wallersee ("Freiin von Wallersee").