Know Nothing
اعتُبر كولفاكس عام 1855 منضمًا لحزب لا أدري بسبب البند المعارض للعبودية الموجود ضمن برنامجه. واختير -دون معرفته- ليكون مندوبًا عن الحزب في مؤتمر يوليو، ولكنه امتلك مشاعر مختلطة تجاه هذا الحزب، ونفى لاحقًا أنه كان عضوًا فيه. ومع أنه توافق مع العديد من سياسات حزب لا أدري، إلا أنه استهجن قَسَمه السري واختبار المواطنة. بحلول وقت حملته عام 1856 لإعادة انتخابه، أصبح الحزب الجمهوري الجديد هو الحزب الرئيسي ضد العبودية، وكان كولفاكس من أوائل الأعضاء فيه، وعندما حظي الحزب الجمهوري بتأييد الأغلبية، شغل كولفاكس منصب رئيس لجنة مجلس إدارة الولايات المتحدة لمكتب البريد وطرق البريد.