Albert de Broglie kuului piemontelaistaustaiseen de Broglien aatelissukuun, joka oli asettunut Ranskaan vuonna 1643 ja saanut herttuan arvon 1742. Hänen isänsä Victor de Broglie oli merkittävä poliitikko, joka toimi pääministerinä vuosina 1835–1836. Albert de Broglie ehti opintojensa jälkeen aloittaa lyhyen diplomaattiuran Madridissa ja Roomassa, mutta hän vetäytyi julkisista tehtävistä vuoden 1848 helmikuun vallankumouksen jälkeen ja keskittyi kirjalliseen työhön. Hän oli jo vuonna 1846 julkaissut käännöksen Gottfried Leibnizin uskonnollisesta järjestelmästä. Nyt hän ryhtyi kirjoittamaan historiallisia artikkeleita "Revue des Deux Mondes" -lehteen sekä orleanistiseen ja kirkolliseen "La Correspondantiin". Broglien merkittävin työ "L’Église et l’empire romain au IVe siècle" ilmestyi kuudessa osassa vuosina 1856–1866. Hänet valittiin Ranskan akatemian jäseneksi 1862. Hän pyrki vuonna 1869 lainsäätäjäkuntaan, mutta ei tullut valituksi.