Era hijo de Antonio Rodríguez Pantoja (nacido en 1685), profesor de arquitectura, y Jerónima Tizón, residentes en Ciempozuelos, parte de una familia de larga tradición en ese pueblo.