После успешного сезона 1980 Пирони перешёл в Scuderia Ferrari. Сезон 1981 Формулы-1 стал для Дидье неудачным: он выступил гораздо слабее партнёра по команде Жиля Вильнёва, ни разу не придя на подиум. Лучшим результатом Пирони в сезоне стало четвёртое место в Монако. До этого, в Бельгии, Дидье стартовал третьим. Вскоре он потребовал остановить гонку красными флагами. Столкнулись пилоты Arrows Риккардо Патрезе и Зигфрид Стор, был сбит и серьёзно травмирован механик Arrows, но гонка продолжалась. Тогда Пирони остановился прямо на прямой и заблокировал трассу. После рестарта пилот Ferrari захватил лидерство в гонке, обогнав Карлоса Ройтемана, но впоследствии из-за проблем с тормозами откатился на восьмое место. Пирони нередко испытывал проблемы с техникой и в других гонках. В чемпионате он занял лишь 13 место, с 9 очками.