Su padre era el funcionario español Juan Pío de Montúfar y Frasso, nacido en Granada (donde su padre ejercía como oidor de la Real Audiencia) aunque de una familia de cortesanos y letrados radicada en Madrid durante algunas generaciones y con orígenes en la villa de Tamajón, presidente de la Real Audiencia de Quito desde 1753 a 1761 y primer marqués de Selva Alegre.