Tre år senere i 1848 ble Ludwigs bror Otto født. Sin barndom og ungdom tilbrakte de fortrinnsvis på Schloss Hohenschwangau hos sine oppdragere.