בתחילת חייו היו לפרנקלין מספר עבדים שחורים והוא תמך בעבדות, אך בהמשך עמדתו השתנתה והוא היה אחד החלוצים בתנועה לביטול לעבדות, במיוחד מבין הפוליטיקאים הבכירים בארצות הברית. בשנת 1758 הוא החל להתנגד בצורה מתונה לעבדות בארצות הברית וקרא לתת השכלה לשחורים. כאשר חזר מאנגליה לארצות הברית ב-1762 הוא החל להתנגד לעבדות בצורה חריפה יותר. ב-1770 הוא שחרר את כל העבדים שלו ותקף את השימוש בעבדים ואת הסחר הבינלאומי בעבדים. עם זאת הוא סירב לדון בפומבי בנושא העבדות בועידת החוקה של ארצות הברית שהתכנסה ב-1787. בשלב כלשהו לאחר שנת 1785 פרנקלין התמנה לנשיא של "האגודה של פנסילבניה לביטול העבדות" שהייתה האגודה הראשונה שפעלה לביטול העבדות בארצות הברית וקמה כעשור קודם לכן. לאחר מכן כאשר הקונגרס נאלץ לעסוק בסוגיות של עבדות, בשנים 1789–1790 הוא כתב מספר מאמרים שתמכו בביטול העבדות ובשילוב השחורים בחברה בארצות הברית. בשנת 1790 קווייקרים מניו יורק ופנסילבניה הגישו עצומה לקונגרס שקראה לביטול העבדות, בתמיכת האגודה לביטול העבדות של פנסילבניה ופרנקלין.