Det var av gammel tysk baltisk adelig familie. Bakgrunnen var utvandring fra Westfalen på 1400-tallet. Han var fetter av Bernd Freytag baron von Loringhoven som også var en fremstående offiser. Wessel Freytag von Loringhoven vokste opp i dagens Latvia og da landet ble selvstendig i 1918, ble han offiser i den nye latviske hærens infanteri. I 1922 dro han til Tyskland for å gå inn i den tyske hæren under Weimar-republikken. Slik oppnådde han tysk statsborgerskap.