Provenía de una acomodada familia de la ciudad de origen vasco, cuyos hijos –entre los que se incluye él mismo– poseían al parecer un notable talento musical; ya que se destacó tocando el clarinete y su hermano, Pedro Idiarte, sobresalió en su interpretación del violín.