尤其在亚历山大六世在位期间，波吉亚家族传出了许多谣言，包括：绯闻、谋取圣座控制权、偷窃、强暴、贿赂、乱伦、谋杀、毒杀（砷中毒） 。他们的专权为周边拥有相当地位的奥尔西尼家族、科隆纳家族所仇视；然而现代历史学家普遍认为有许多的谣言皆是出自家族的政治对手—儒略二世所散布的。波吉亚亦是文艺复兴时期积极赞助文化活动的家族。
早期家族史.波吉亚家族发迹于西班牙的瓦伦西亚，家族声称是阿拉贡王室的后代。家族第一位发迹的人是阿方索·德·博尔哈（Alfonso de Borja，1378－1458）