Azzolini ble født i Fermo i en gammel aristokratisk familie. Faren var Pompeo Azolini og moren Giulia Ruffo. Han var på farssiden grandnevø av kardinal Decio Azzolini den eldre.