Azaria nació y creció en Forest Hills, Queens, Nueva York, hijo de padres sefardíes de Salónica, Grecia.