Anette Sofie Olsen er datter av skipsreder Fred. Olsen og Kristin Olsen født Åsnes. Hun tilhører slekten Olsen fra Hvitsten og er tippoldebarn av Petter Olsen (1821–1899), som grunnla det som etterhvert ble rederiet Fred. Olsen & Co.