Según cuenta su hermano Groucho, recibió su nombre artístico, al igual que sus hermanos, durante una partida de póker en el que Art Fisher "rebautizó" a Groucho, Chico (originalmente Chicko), Gummo y el propio Harpo, cuyo apodo le vino dado por su afición a tocar el arpa (no sólo en las películas).