Know-Nothing hadde geografisk utspring i byene langs USAs nordøstkyst. Mesteparten av de nye immigrantene som i disse årene strømmet dit var katolske, mens majoriteten av USAs befolkning var protestanter. På protestantisk hold ble det dermed dem som organiserte seg i en reformert versjon av Nativistpartiet, særlig innen The American Republican Party (opprettet i New York i 1843). Gradvis vokste det fram en rekke forskjellige hemmelige selskaper tidlig i 1850-årene. De ble gitt det kollektive tilnavnet fordi alle forespørsler stilt til formentlige medlemmer om de var medlemmer eller hvor mange de var, ble besvart med .