伝存する作品を兄たちと比べると画才に恵まれていたとは言えず、探幽から様々な嫌がらせを受けたようである。『古画備考』所載で昌運が記した「昌運筆記」と、安信の甥に当たる探幽の息子探信の弟子木村探元が記した『三暁庵雑志』では、探幽が安信をいじめた逸話が幾つも収録されている。例えばある時、三兄弟が老中から揮毫を描くよう言われた際、探幽が安信に向かって「兄たち妙手が描くのを見ておれ」と命じて筆を執らせなかった。またある時安信が浅草観音堂天井画に「天人・蟠龍図」を描いた際も、「日本の絵でこのような絵を座敷などに飾るものではない」と叱ったと言う。果ては、「安信が宗家を継いだのは、安信が食いはぶれないようにするための探幽の配慮」といった、史実と異なる悪意が込められた話が記されている(安信が宗家を継いだのは長信と吉信の配慮であり史実ではない)。この逸話を取り上げた松木寛は実力よりも血脈が優先する家族制度の矛盾に注目、技量が2人の兄に及ばない安信が宗家当主という立場にあり、実力と格式の対立が狩野派内部に残っていると考え、実質の無い宗家と周囲の人間への苛立ちと怒りが探幽を安信へのいじめに走らせたと推測している。そうした探幽のいじめとも取れる指導を受ける中で、安信は画技の研鑽に努めた。明暦元年に普門寺にいる隠元隆琦を訪ね、記室(書記)の独立性易と親しくなり、隠元から法を受け同寺の方丈に襖絵を描く。探幽ら当時の狩野派の絵に隠元ら黄檗僧が着讃した作品は非常に多いが、その中でも安信には黄檗美術の影響を受けたと思われる作品がある。安信は晩年になっても、武者絵を描くためにわざわざ山鹿素行を訪れ、武者装束や武器などの有職故実の教えを受け、朝鮮進物屏風の制作にあたっても素行を訪ねて様々な質問をしたという逸話が残っている。弟子と交友関係.画論『画道要訣』.安信の作品と評価.昌運も師を擁護する文章を残し、「昌運筆記」で探幽に非難された上記の逸話に続いて、中年期の安信の作品が世間でもてはやされたことを記し、実際に京都で狩野元信・狩野永徳・探幽・尚信の絵を見た感想を見事なものだと書いた上で「安信が描いた物もあるが、噂ほどには劣っていないそうだ」と評価、安信が先祖や兄2人に匹敵することを強調している。