父デイヴィッドは日本とも縁が深い初代リーズデイル男爵アルジャーノン・フリーマン＝ミットフォードの次男である。デイヴィッドの兄クレメントは第一次世界大戦で戦死したため、リーズデイル男爵の爵位はデーヴィッドが継いだ。デーヴィッドの母クレメンタインはの令嬢であり、このエアリー伯爵家を通じて後の英国首相ウィンストン・チャーチルと縁戚関係があった（デーヴィッドの従姉妹の夫がチャーチル）。
母シドニーは庶民院議員トーマス・ボウルズの娘だった。
ファーストネームの「ユニティ」は母シドニーが好きな女優ユニティ・ムーアに因む。ミドルネームの「ヴァルキリー」はリヒャルト・ワーグナーの熱狂的崇拝者だった祖父アルジャーノンが名付けた物で、ワーグナーのオペラ「ニーベルングの指環」に登場する北欧神話の女神ワルキューレに因んでいる。もっともユニティは家族の間では「ボボ」の愛称で呼ばれていた。
幼女・少女期.
父も母も風変わりな人物だったのでミットフォード家の娘たちは特殊な環境の中で育った。父デーヴィッドは癇癪持ちで、「姉妹一の悪がき」だったユニティはよく父親に殴られたという。母シドニーは後継ぎである息子トーマス以外の姉妹たちに養鶏場の収入以上の教育費をかける意思はなく、学校へ通わせずに家庭教師から教育を受けさせていた。しかし気性の荒いユニティだけは特別に寄宿学校へ入れられたことがあったが、結局ユニティが飛び出してしまったらしい。ミットフォード家の家庭教師は姉妹たちのいたずらのせいで長続きせず、頻繁に交代したという。他の姉妹たちによれば特にユニティのいたずらは容赦がなかったという。
社交界デビュー.
しかし社交界でもいたずら好きが目立った。エキセントリックな格好をして現れ、ひまし油をサラダに注いだり、安楽椅子の上に画鋲をおいたりした。ペットの白ネズミや蛇を連れてくることもあった。（恐らくユニティが意図的に解放して）これらのペットが逃げ出して会場がパニックに陥ることもあった。
バッキンガム宮殿で初めて国王の謁見を賜ろうという日に国王の罵倒を行い、さらに宮殿から王家専用便箋を盗み、母シドニーの肝を冷やしたという。
英国ファシストに.
ヒトラーとの出会い.