Han vokste opp på herregården Quistrup i nærheten av Struer i Jylland, som sønn av landstingsmann og godseier Peter Olufsen og hustru Anna Hansen. Sammen med Peter Bang grunnla han i 1925 firmaet Bang & Olufsen. Virksomhetens tidlige år foregikk på Quistorp, hvor produksjonen av eliminatorer ble firmaets første gjennombrudd. Selvom Olufsen var utdannet elektroingeniør, var det Bang som stod for innovasjonen mens Olufsen selv som tok seg av det forretningsmessige.