Den 1. januar 1685 hadde han inngått ekteskap i Augustenborg med Louise Charlotte av Slesvig-Holsten-Sønderborg-Augustenborg, datter av Ernst Günther, Hertug av Slesvig-Holsten-Sønderborg-Augustenborg og Auguste av Glücksburg. Paret fikk flere barn, hvorav den yngste, Peter August Frederik ble den senere kong Christian IXs tippoldefar. Frederik Ludvig og Louise Charlotte ble begravet i Königsberg.