Монсеньор Бислети был возведён и объявлен кардиналом-дьяконом с титулярной диаконией Святой Агаты в Субурре папой римским Пием X на консистории от 27 ноября 1911 года. Он служил Великим приором Верховного Мальтийского ордена с 2 января 1914 года. Он участвовал в Папском Конклаве 1914 года, который избрал папу римского Бенедикта XV.