Родилась в семье Александра Николаевича Зубова и его супруги Елизаветы Васильевны (в девичестве — Вороновой; 1742—1813), которые поженились в 1759 году. Отец происходил из старинного, но небогатого дворянского рода. Одно время был вице-губернатором в провинции и управляющим имениями графа Николая Ивановича Салтыкова, дослужился до чина статского советника. С возвышением сына Платона был назначен обер-прокурором в первый департамент Сената. Здесь он прославился взяточничеством и лихоимством, которые сходили ему с рук только благодаря заступничеству сына. Умный, но злой человек, Зубов-старший имел под конец жизни репутацию «бесчестнейшего дворянина во всём государстве». Мать, единственная дочь армейского прапорщика, владела душ крестьян. В 1795 году она была пожалована в статс-дамы, а в 1797 году — орденом Святой Екатерины. У Ольги была старшая сестра Анна и четыре брата: старшие — Николай и Дмитрий, и младшие — Платон и Валериан. Все дети отличались необыкновенной красотой. Детство Ольги Зубовой протекало в одной из поволжских провинций, где служил отец, однако во время восстания Пугачёва ей вместе со всем семейством пришлось спасаться бегством в Москву.