Al morir su padre, Luis II heredó el "Königshäuschen" y desde 1869 empezó a expandirlo agregado alas adicionales bajo la dirección del arquitecto de la corte ("Hofbaudirektor"), Georg Dollmann.