Toolen ble ansett som en biskop som opprettholdt gode forbindelser med afroamerikanske katolikker. I 1950 åpnet han for eksempel St. Martin de Porres Hospital, det første sykehuset i Alabama som tillot svarte leger å praktisere og som også behandlet gravide svarte kvinner. Han lot også nonnen Mother Angelica og åpne et svart kloster i Mobile i 1962. Han opphevet også raseskillet i Alabamas katolske skoler i 1964, slik at svarte barn kunne gå i samme klasse som hvite barn.