Frederik Raben-Levetzau ble født på Lekkende Gods, Mern, som sønn av Josias Raben-Levetzau (1796–1889) og hustru Siegfriede Victorine von Krogh (1823–1898). Han var gift med Lillie Suzanne Moulton (19. desember 1864 til 9. mars 1946).