微信
手机学习
智选
报班
  • 客服热线: 4008-000-428

ISACA Blog | 人工智能:隐私和信息安全风险考量

发布时间:2023年12月29日| 作者:Esanju Maseka| 来源:ISACA| 点击数: |字体:    |    默认    |   

各组织为了努力提高运营效率而引入了人工智能和其他尖端技术,因此将风险管理作为战略重点领域就变得至关重要。随着业务和运营风险的不断发展,组织需要将资源集中用于监控和重新调整其风险态势上,特别是在涉及隐私和安全风险的情况下。

 

寻求从人工智能中受益并降低其使用相关风险的组织需要制定一种包容性的多学科方法,该方法结合了从IT人员到法律团队再到数据分析团队等不同专业人员的专业知识。这将鼓励所有团队承担责任,并确保他们负责任地使用AI工具。

 

隐私风险

 

数据隐私和安全已成为组织在使用AI时需要考虑的关键问题。这是因为,人工智能要建立学习能力,需要大量数据来更好地分析和识别模式和过程。不幸的是,组织拥有的大多数数据都包含个人信息,如果AI过程被破坏,会增加个人信息泄露的风险。

 

为了应对这一风险,一些组织专注于对数据进行假名化处理,用其他记录代替可识别的属性。然而,使用AI的恶意行为者可以从数据中重新创建个人信息。或者,组织可以使用匿名数据,这涉及加密或完全删除个人身份信息,使其很难被重新创建。

 

在个人层面上,虽然鼓励使用AI“让生活更轻松”,但重要的是最终用户要意识到,输入AI模型的所有信息都被吸收以改进模型。其中许多这些AI模型被公众广泛使用。这意味着任何私人或敏感信息都有暴露的风险,因为AI模型可能会使用共享的信息为其他人生成结果或解决方案。

 

网络安全风险

 

传统的安全信息和事件管理(SIEM)系统侧重于根据约定的规则管理和分析安全事件数据。生成式AI利用数据驱动的算法和自学习能力来应对新兴威胁,从而改变游戏规则。

 

大家经常讨论的关于SIEM系统的问题是分析师倦怠和人员配置挑战,以及由此产生的知识差距。AI越来越多地被用来填补其中一些人员配置差距,提供持续执行预定任务的能力。应对AI执行的活动进行监督,以确保一致性。其中一个例子包括在AI生命周期的每个阶段遵循以人为本的原则,对AI模型的决策输出进行监管检查,并从AI模型中创建负面场景警报,以便及时提醒员工不良结果。

 

不幸的是,生成式AI为恶意行为者提供了开发更复杂的网络攻击和利用系统漏洞的工具。许多恶意行为者将通过向AI提供被破坏的数据来破坏学习模型,从而影响其决策过程。其他人可能会使用生成式AI来创建类似合法电子邮件的网络钓鱼攻击,这使得内置的安全监控工具更难标记此类电子邮件。如果不加以控制,这可能会扰乱业务的运营,影响其经营流程,并影响整体业务的连续性。

 

误导和歧视

 

AI模型依赖于注入其中的信息来学习所需的流程和结果。在一个不断与种族、性别、性和宗教歧视作斗争的世界中,参与提供这些数据的用户必须在确保数据的完整性的同时也要确保数据元素中不存在相关的偏见。组织承担着更大的责任,以确保它们不会通过教授AI模型来强化偏见,甚至产生新的偏见。

 

一个例子是HR团队如何引入AI模型以帮助减少处理数千份面试候选人的申请所花费的时间。然而,如果提供给AI模型的信息包括过去成功申请IT职位的男性以及某个年龄段的申请人,那么AI模型可能会被编程为只识别这一类人,而忽略其他潜在员工。一个无法考虑歧视性做法影响的组织可能会面临声誉和法律上损害。

 

为团队的成功做好准备

 

总体而言,虽然AI可以成为组织一直在寻找的改变游戏规则的前沿技术,以增强运营,但如果使用不当,也可能导致昂贵的诉讼或监管机构的罚款。组织需要确保他们为团队配备了使用AI模型的知识和技能,以获得预期的收益。这些团队的一个关键重点应该是密切监控其风险状况,并不断加强其治理结构,以应对新出现的风险。

热销商品推荐
学员心声