Deportado a Saint Domingue, su padre, Hyppolite Gaou fue vendido como esclavo al gerente de la hacienda del Conde de Breda en la plantación en la que Toussaint nació (de ahí su nombre completo Toussaint de Breda), en la provincia del Norte, cerca de Cap-Français.