Brown ble født i Marbella i Málaga i Spania, som det tredje av fire barn av engelske foreldre, Kelly og Robert Brown. Hennes far er eiendomsmegler. Hennes søsken heter Paige, Charlie og Ava Brown. Familien flyttet til Bournemouth i Dorset da Millie var rundt fire år, og flyttet til Orlando i Florida fire år senere.