Nasqué a Barcelona de familia noble, de pare notari i jutge, per ambdós costats, els de Gispert i els d'Anglí, dedicant-se aquesta última al comerç ultramarí de teles i la manufactura i venda de les mateixes. La familia es traslladà a la ciutat de Girona essent Joaquim ben petit. Visqué i lluità amb tan sols 11 anys durant el Setge dels Francesos a la ciutat i li agradava contar com ajudava a preparar bombes per defensar-la. Es casà amb Pilar de Yanguas-Velandia, membre de la noblesa de Najera, dama de companyia de la reina el qual va propiciar que l'enllaç se celebrés a Palau i el padrí de boda fos el mateix monarca Ferran VII.