セキュリティ専門家 Bar Lanyado は最近、生成 AI モデルがソフトウェア開発の世界で潜在的な巨大なセキュリティ脅威にどのように意図せず寄与しているかについていくつかの研究を行いました。 Lanyado によるこのような調査では、憂慮すべき傾向が判明しました。AI は架空のソフトウェアのパッケージを提案し、開発者は気付かないうちにそれをコードベースに含めます。
明らかになった問題
さて、問題は、生成されたソリューションが架空の名前、つまり AI によくあるものだったことです。ただし、これらの架空のパッケージ名は、AI モデルを使用したプログラミングが難しい開発者に自信を持って提案されます。実際、考案されたパッケージ名の中には、Lanyado のように部分的に人物に基づいたものもありますし、さらにそれを実際のパッケージに変えたものもあります。これにより、実際の正当なソフトウェア プロジェクト内に潜在的に悪意のあるコードが誤って組み込まれてしまうことにつながりました。
この影響を受けた企業の 1 つが、テクノロジー業界の大手企業の 1 つであるアリババです。 Lanyado は、GraphTranslator のインストール手順の中に、Alibaba が偽造した「huggingface-cli」というパッケージが含まれていることを発見しました。実際、Python Package Index (PyPI) でホストされている同じ名前の実際のパッケージがありましたが、Alibaba のガイドでは Lanyado が作成したパッケージについて言及していました。
永続性のテスト
Lanyado の研究は、これらの AI によって生成されたパッケージ名の寿命と潜在的な悪用を評価することを目的としていました。この意味で、LQuery は、これらの架空の名前が効果的かつ体系的な方法で推奨されているかどうかを理解する過程で、プログラミングの課題および言語間の異なる AI モデルを実行しました。この実験では、有害な存在が AI によって生成されたパッケージ名を悪用して悪意のあるソフトウェアを配布するリスクがあることが明らかです。
これらの結果は深い意味を持ちます。悪意のある者は、開発者が受け取った推奨事項に設定した盲目的な信頼を悪用し、偽の ID で有害なパッケージを公開し始める可能性があります。 AI モデルでは、作成されたパッケージ名に対して AI による一貫した推奨が行われるため、リスクが増大します。これは、認識していない開発者によってマルウェアとして組み込まれる可能性があります。 **今後の方法**
したがって、AI がソフトウェア開発とさらに統合されるにつれて、AI が生成した推奨事項と関連する場合、脆弱性を修正する必要が生じる可能性があります。このような場合、統合のために提案されたソフトウェア パッケージが正当なものであるように、デュー デリジェンスを実施する必要があります。さらに、ソフトウェアのリポジトリをホストするプラットフォームを検証し、悪意のある品質のコードが配布されないように十分な強度を備えている必要があります。
人工知能とソフトウェア開発が交差することで、懸念されるセキュリティ上の脅威が明らかになりました。また、AI モデルは偽のソフトウェア パッケージを誤って推奨する可能性があり、ソフトウェア プロジェクトの整合性に大きなリスクをもたらします。アリババの指示に、本来あってはならない箱が同梱されていたという事実は、人々が機械的に推奨事項に従うときに実際にどのような可能性が生じるかを示す証拠にすぎない。
AIが与えたもの。将来的には、ソフトウェア開発における AI の悪用を防ぐために、事前の対策を講じて警戒する必要があります。
出典: https://www.cryptopolitan.com/ai-generated-software-packages-threats/