Arikha nació en el seno de una familia judía germanohablante en Rădăuţi, cerca de Czernowitz, en lo que entonces se llamaba Bukovina y hoy forma parte de Rumanía. Su familia fue deportada en 1941 a un campo de concentración de Ucrania occidental; allí falleció su padre. Arikha logró sobrevivir gracias a los dibujos que hacía de su experiencia del destierro, los cuales fueron mostrados a los delegados de la Cruz Roja. Debido a esto, su hermana y él mismo fueron liberados y trasladados a Palestina en 1944. Entre 1944 y 1948, vivió en el kibutz Ma'aleh Hahamishah. Fue herido de gravedad en la Guerra árabe-israelí de 1948. De 1946 a 1949, asistió a la Academia Bezalel de Arte y Diseño de Jerusalén, donde aprendió los métodos de la Bauhaus. En 1949, obtuvo una beca para estudiar en la École des Beaux-Arts de París; allí aprendió la técnica del fresco. Desde 1954, Arikha residió en dicha ciudad.