Det som vakte mest oppmerksomhet i biskopens samtid, var en strid mellom ham og byrådet i Bergen, som brøt løs i begynnelsen av 1570, etter at han hadde fjernet noen helgenbilder fra høyalteret i domkirken. Disse ble fremdeles tilbedt av noen eldre bergensere, men den danske riksråden Jørgen Lykke hadde bedt ham få dem fjernet da han oppholdt seg i Bergen i 1568. Skielderup hadde siden forgjeves bedt byrådet om å fjerne dem, og lot til sist selv to av de fire bildene fjerne i julen 1570. Byrådet, som alt på forhånd uvillig stemt overfor biskopen, mente at bildene utgjorde en arkitektonisk pryd for kirken, og fikk bergenserne med på å holde seg borte fra kirken inntil videre. Striden endte med et slags forlik mellom biskopen og borgermesteren i begynnelsen av 1571, da det ble bestemt at bildene ikke skulle settes opp igjen.