Brorson døde 3. juni 1764, 70 år gammel. Han ble begravet i Ribe domkirke, hvor det ble murt inn en minnetavle 100 år etter hans død.