Era de origen noble, aunque humilde; su madre fue Juliana de Alcázar, natural de Vara de Rey, y su padre el abogado y juez andaluz Fernando de Arroyal (Ayamonte, 1712 - Salamanca, 23 de noviembre de 1777), que ejerció en Sevilla y en 1744 se trasladó a Madrid, matriculándose para ejercer en el colegio de abogados de la Villa y Corte.