Han fulgte med på det meste av det som skjedde innen familien, blant annet passet han på at alle hans avlagte klær ble omsydd til barna. Den yngste, Dorothea Elisabeth, hadde en annen far, og kongen anerkjente henne aldri, men omtalte henne som «den kasserte frøken» og fikk henne sendt til et augustinerkloster i Tyskland, der hun siden ble nonne.