Il appartient à une famille d'ancienne magistrature poitevine et est le plus jeune des dix enfants de Charles-Jean Rivaud, conseiller du roi, lieutenant général de police au siège royal et maire de Civray. Olivier est élu à la fin de 1792 capitaine dans l'un des bataillons de volontaires de la Charente. Il passe à l'armée du Nord, commande une compagnie du franc à Jemmapes le , se bat à Neerwinden le , et est nommé adjudant-général chef de brigade le et chef d'état-major du général Duquesnoy. Vainqueur à Hondschoote le , il est blessé à Warwick, d'un biscaïen à la jambe, dirigea la division Duquesnoy à Wattignies le , reçoit, sur le front de l'armée les félicitations de Carnot et de Jourdan, et passe en Bretagne en , comme chef d'état-major de l'armée des côtes de Brest.