Avé-Lallemant var venn av Johannes Brahms og Robert Schumann. I 1862/63 slo Avé-Lallemants forsøk på å skaffe Brahms dirigentstillingen i Hamburgs Philharmoniske orkester, alternativt korlederstillingen for Singakademie feil. Selv om Brahms ikke hadde søkt åpent på stillingene ble han dypt skuffet over at Julius Stockhausen ble foretrukket framfor ham.