Broen er oppkalt etter prins Albert, som også hadde den opprinnelige ideen om en bro på dette stedet. I 1842 foreslo å bygge ut elvebredden ved Chelsea, for å frigjøre land og gi grunnlag for et mer effektivt veinett. En ny elvebredd kunne også brukes for byggingen av en bro. I 1864 vedtok Parlamentet at det skulle bygges en bro, men byggingen startet først i 1870. Tre år senere åpnet broen, som det hadde kostet 200 000 pund å bygge. Arkitekt var Rowland Mason Ordish, som også var involvert i utformingen av Royal Albert Hall og St. Pancras jernbanestasjon, begge i London. Broen ble bygget som en skråkabelbro med to par pilarer hvilende på sylindre av støpejern fylt med betong. Etter hvert viste det seg at konstruksjonen ikke tålte tidens tann veldig godt, og broen ble senere modifisert og forsterket.