Ifølge en senere publisert krønike av den italienske historiker Stefano Infessura, , var Sixtus en «lover of boys and sodomites», som belønnet seksuelle tjenester med beneficier og bispedømmer og ved å gjøre flere unge menn til kardinaler, noen av hvem visstnok meget vakre. Men dette må leses med tilbakeholdenhet, idet Infessura var selv partisk tilhenger av Huset Colonna og ikke alltid regnet som pålitelig eller upartisk. Den engelske kirkemann og protestantiske polemiker John Bale, som skrev et århundre senere, gjorde meget ut av disse påstander, og tilla Sixtus «the authorisation to practice sodomy during periods of warm weather» til «Cardinal of Santa Lucia». Selv om slike påståender lett kan avvises som anti-katolsk propaganda, fikk de ikke desto mindre den vel renommerte kirkehistoriker Ludwig von Pastor til å bruke energi til en fast og grundig tilbakevisning.