Jego ojciec Wilhelm Heinrich (1844–1891) był kupcem, a jego dziadek, Rickmer Clasen Rickmers (1807–1886), właścicielem stoczni w Bremerhaven i założycielem słynnej firmy żeglugowej Rickmers Reederei. Johann Rickmers (1881–1923), uczestnik nieudanego puczu Hitlera w 1923 r., był jego bratem.