このような、強いAIを有した機械の意識に対して関心がもたれる理由としては、もし機械が意識を持つならば、動物の権利と同じように、心を持つ機械にも人権が生じる可能性があるからである。そのために強いAIが発生した場合に備えて、既存の法律や倫理、社会の枠組みにどう心を持つ機械を統合するかというアプローチが研究されている。これらの研究は「強いAI」の法的位置づけと権利に焦点を当てている。コンピュータ科学者であるビル・ジョイは、このような心を持つ機械は、結果的に人間の生命や尊厳を脅かす可能性があると主張している。
これらの人間的な意識が「強いAI」に必要不可欠であるかどうかは不明である。そもそも意識を確認するための確実なテストは存在しないため、意識というものの役割が「強いAI」などのような影響をもたらすのかが明確ではない。仮に意識に相関した脳活動をシミュレートできる機械を作ったとしても、自動的に自己認識を持つようになるのかは不明である。意識は作成できるものではなく、汎用人工知能が作られた結果として自然に創発する可能性もある。また、機械が明らかに知的な行動を取るようになれば、これらの特徴を機械に帰属させることが自然になる可能性も存在する。
人工意識の研究.
汎用人工知能・強いAIにおける意識の役割には議論の余地があるが、多くの汎用人工知能研究者は意識の実装を重要視している。
人工超知能.
人工超知能.
問題・危険性.
技術的失業.
歴史的に、科学技術の進歩によって、機械に置き換えられて存在しなくなった仕事が多数存在する（例えば電話交換手など）。しかしながらそれに伴って新たな労働が生まれることにより、人間の雇用の全体的な数は減少するのではなく、増加する傾向にある。一方、人工知能の進歩にも以前のような傾向が適用されるかという点については、経済学の観点からみても不明である。仮に汎用人工知能が実現した場合、それはもちろん人間に匹敵した知能を持つ。よって導入費用や心理的抵抗などの諸問題を無視すれば、人間に可能な知的労働は全て代替可能であることを意味する。