后来，吕安搬到山阳与嵇康、向秀住在一起，过着隐逸的生活，嵇康从事打铁，吕安灌园种菜，而向秀则两头跑帮忙。曾与嵇康辩论过“智慧”与“勇气”的问题，认为勇气不能产生智慧，但智慧必然能产生勇气。嵇康《明胆论》中的吕子即是指吕安。吕安之妻徐氏有美色，吕安兄长吕巽逼姦徐氏。吕安原本准备出妻并控告兄长，吕巽请嵇康从中调停，经过嵇康的劝解，吕安没有揭发这件事。但是吕巽内心不安，反诬吕安事母不孝，陷之入狱。吕安被判处流徙，临行前作《与嵇生书》，其中有言辞惹怒了大将军司马昭，将他追回下狱。嵇康作《》与吕巽绝交，并出面为吕