Mirabeau var sønn av Victor de Riquetti Marquis de Mirabeau. Som barn vakte han oppsikt både ved sin store klokskap og sitt overmåte utiltalende utseende, især etter at han hadde hatt kopper. Forholdet mellom hans far og mor var dårlig, og da faren mente at gutten slektet på moren, viste han ham lite velvilje.