Piovanelli virket i tolv år som viserektor for gutteseminaret i Firenze. Pregende erfaringer som sjelesørger gjorde han fra 1960 til 1979 i Castelfiorentino, et sogn i Firenzes industriområde som var preget av en sterk antiklerikalisme, og for utbredt ateisme. Men han klarte å lege splittelsen i samfunnet der, noe som gjorde ham legendarisk i regionen og i hele Italia.