Fils d’une mercière de la rue du Rempart, et placé sous la direction d’un beau-père peu humain, Goubaux n’apprit à lire qu’à douze ans, en épelant les enseignes qu’il rencontrait sur son passage. Entré ensuite au lycée Louis-le-Grand, il y termina ses études et, déjà marié à dix-neuf ans et père à vingt ans, prit part, en 1814, à la défense de Paris. Après avoir été répétiteur de grec et de latin à l’institution Sainte-Barbe, il fonda, en 1820, avec Delauneau père, une maison d’éducation dont les commencements furent des plus pénibles, par suite des tracasseries administratives.