Alphonse Lévy naît dans une famille de commerçants juifs religieux aisés qui s'établissent à Strasbourg après les émeutes anti-juives liées à la révolution de 1848. Il fréquente le Lycée impérial où il se découvre une passion pour le dessin. En 1860, il s'installe à Paris où il fréquente l'atelier de Jean-Léon Gérôme et se lie avec Carolus Duran. Il étudie l'œuvre du caricaturiste Honoré Daumier et celui de Rembrandt, qui a maintes fois représenté les Juifs d'Amsterdam.