UM-弗林特 密歇根大学弗林特分校的标志

工程系统实验室的安全建模和智能学习

用于网络安全和神经退行性疾病的人工智能工具

主任兼PI： 哈立德·马利克, 网络安全项目主任、CIT 计算部教授

工程系统安全建模和智能学习 (SMILES) 实验室是一个由教师和学生研究人员组成的具有前瞻性思维的跨学科小组，他们采用创新思维，针对一些最紧迫的问题开发基于人工智能的尖端解决方案我们这个时代的。 SMILES 团队提出的转化研究的影响超出了我们的社区范围，在网络安全和医疗保健方面提供了适销对路的解决方案，这将使我们所有人受益。

SMILES 实验室的大胆愿景已经确定了紧迫的需求，并坚定不移地专注于构建和改进人工智能工具来解决这些需求。马利克和他的团队发表了许多期刊和会议文章，并在此基础上不断发展。通过与行业和医学专家的丰富关系，该团队能够通过相关解决方案满足非常具体的需求。 

除了 SMILES 研究的外部影响之外，参与 SMILES 项目的学生还获得了丰富的独特经验。他们接触最新的人工智能和网络安全工具，同时不断获得支持，练习灵活、批判性的思维，从而实现改变生活的成长。在马利克深思熟虑的指导下，学生们能够坚持不懈地实现重要的切实目标。这些技能和他们形成的关系将是终生的，并为他们做好准备，迎接一个非常需要知道如何弥合研究和实践之间差距的富有创造力的个人的世界。

在本页

使用人工智能开发可解释且强大的伪造多媒体和网络威胁检测器

受资助 美国国家科学基金会 和 密歇根转化研究和商业化

表示交换的深假面具

深度伪造检测器 (DFD)

揭示真相。寻求正义

去掩模标志

工程系统实验室的安全建模和智能学习

眼见为实——但能持续多久呢？去掩模标志。最近有关公众对 Deepfakes 担忧的新闻报道的快照。 Deepfake音频是政治噩梦，微软新AI可以用3秒音频模拟任何人的声音，AI骗局：加拿大夫妇因假儿子的声音失去K，AI生成日本首相的Deepfake引发关注
眼见为实——但能持续多久呢？去掩模标志。最近有关公众对 Deepfakes 担忧的新闻报道的快照。 Deepfake 音频是政治噩梦，微软新 AI 可以用 3 秒音频模拟任何人的声音，AI 骗局：加拿大夫妇因假儿子声音损失 21 万美元，AI 生成日本首相 Deepfake 引发关注
眼见为实——但能持续多久呢？去掩模标志。最近有关公众对 Deepfakes 担忧的新闻报道的快照。 Deepfake 音频是政治噩梦，微软新 AI 可以用 3 秒音频模拟任何人的声音，AI 骗局：加拿大夫妇因假儿子声音损失 21 万美元，AI 生成日本首相 Deepfake 引发关注

虚假信息日益受到社会关注，而新武器：深度伪造的多媒体更是助长了虚假信息。我们一生都被告知要相信我们亲眼所见，但我们第一次不能再相信他们了。人工智能生成的 Deepfakes 已经脱离了科幻小说的范畴，成为一个令人不安的现实，需要我们立即关注。

Deepfake 本质上是一种由人工智能操纵或完全由人工智能生成的媒体，看起来就像是原始的人工制品。随着生成式人工智能工具的最新发展，这些功能已经发展到人类在没有帮助的情况下无法再检测到差异的程度。

假多媒体是全球舞台上日益严重的威胁。错误信息并不是一种新策略，但当今的工具要先进得多。政治或行业领导者制作精良的人工智能视频可能会传播有关公共或企业政策的虚假叙述，并产生毁灭性的公众影响。想象一下一段病毒视频，其中某位外国国家元首威胁即将对美国发动袭击，但该视频与真实视频没有什么区别。

Deepfakes：最危险的网络武器。在此之下，深度假货造成的不稳定政治影响……据报道，乌克兰总统弗拉基米尔·泽伦斯基呼吁士兵放下武器的深度假货被上传到一个被黑的乌克兰新闻网站。右边是美国总统乔·拜登的照片，上面有一条新闻横幅，上面写着“核战争的现实”。图片说明：拜登宣布将征召男女士兵前往乌克兰作战。
Deepfakes：最危险的网络武器。在此之下，深度假货造成的不稳定政治影响……据报道，乌克兰总统弗拉基米尔·泽伦斯基呼吁士兵放下武器的深度假货被上传到一个被黑的乌克兰新闻网站。右边是美国总统乔·拜登的照片，上面有一条新闻横幅，上面写着“核战争的现实”。图片说明：拜登宣布将征召男女士兵前往乌克兰作战。
Deepfakes：最危险的网络武器。在此之下，深度假货造成的不稳定政治影响……据报道，乌克兰总统弗拉基米尔·泽伦斯基呼吁士兵放下武器的深度假货被上传到一个被黑的乌克兰新闻网站。右边是美国总统乔·拜登的照片，上面有一条新闻横幅，上面写着“核战争的现实”。图片说明：拜登宣布将征召男女士兵前往乌克兰作战。

在诈骗中使用深度伪造的音频和视频的可能性越来越大。 4 年 2024 月 XNUMX 日，一家跨国公司的一名财务人员被 Deepfake“首席财务官”视频通话欺骗并获得报酬 25万美元落入骗子手中.

如果大型金融机构可能成为这些事情的牺牲品，请考虑一下普通公民的脆弱性。根据一个 2022调查 在来自 16,000 个国家的 71 人中，XNUMX% 的人表示他们甚至不知道什么是 Deepfake。

当我们在国际层面上讨论深度造假对全球安全、民主机构和诈骗的威胁时，值得注意的是，经过验证的音频和视频制品现在已成为我们司法系统证据的常态。 Deepfakes 对该过程的完整性构成了重大威胁。

满足法庭证据标准是一项具有挑战性的任务，特别是在缺乏数字水印等基础元数据的情况下，或者媒体经过反取证意图的后处理时。 2024 年 XNUMX 月上旬，Meta 等社交媒体平台宣布，他们将要求人工智能生成的内容被贴上这样的标签，但这属于“锁只会挡住诚实者”的范畴。那些打算使用这些先进工具进行欺骗的人不会给它们贴上标签。

随着创建令人信服的虚假视频的能力显着提高，我们对合法数字媒体工件进行身份验证的需求也随之增长。除此之外，验证这些媒体工件所需的工具需要以可访问的方式提供评估。例如，我们的司法系统是围绕“同行陪审团”设计的，他们对人工智能和网络安全系统没有深入的了解。

为了满足这一基本需求，我们开发了深度伪造探测器。这项研究已经持续了 6 年多，并得到了美国国家科学基金会和 MTRAC 等机构近 1 万美元的资助。这笔资金使我们能够利用适当的工具和知识开发 DFD MVP，我们正在努力将其进一步开发为可供没有网络安全专业背景的公司和个人使用的产品。

与该项目相关的学生研究人员将有机会学习如何使用深度学习、神经符号人工智能和多模态人工智能来开发验证数字多媒体的工具。学生还将学习如何保护探测器免受反取证攻击，并获得设计基于人工智能的探测器的经验，使其透明且可解释并具有可访问的输出。他们将有机会在跨学科团队中工作，解决课堂环境之外的问题。

微笑实验室之旅。去掩模标志。下面是一个时间线从左向右移动的框，如下：紫色，1018，NSF，数字音频取证算法基准测试平台，蓝色，2019，NSF，REU 对取证审查员的补充，灰色，2020，MSGC， NSF，迈向 Deepfake 检测框架的开发，绿色，2021 年，NSF，REU 对法证检查员的补充，黄色，2022 年，MTRAC，深度伪造检测器，红色，2023 年，NSF，MTRAC，可解释和鲁棒检测器 (NSF)，DFD (MTRAC) ）。其下方左侧是四个对角堆叠的圆圈。从左下角开始，紫色带指纹和放大镜、报告生成、视觉、文本。红色、齿轮、鲁棒性、集成决策、多模态验证、蓝色、带电路的大脑、可解释性、神经符号、可解释特征、绿色、可概括、常识、人类心理学、多模态。右下角有图。 SpoTNet：用于有效合成语音检测的欺骗感知变压器网络。
微笑实验室之旅。去掩模标志。下面是一个时间线从左向右移动的框，如下：紫色，1018，NSF，数字音频取证算法基准测试平台，蓝色，2019，NSF，REU 对取证审查员的补充，灰色，2020，MSGC， NSF，迈向 Deepfake 检测框架的开发，绿色，2021 年，NSF，REU 对法证检查员的补充，黄色，2022 年，MTRAC，深度伪造检测器，红色，2023 年，NSF，MTRAC，可解释和鲁棒检测器 (NSF)，DFD (MTRAC) ）。其下方左侧是四个对角堆叠的圆圈。从左下角开始，紫色带指纹和放大镜、报告生成、视觉、文本。红色、齿轮、鲁棒性、集成决策、多模态验证、蓝色、带电路的大脑、可解释性、神经符号、可解释特征、绿色、可概括、常识、人类心理学、多模态。右下角有图。 SpoTNet：用于有效合成语音检测的欺骗感知变压器网络。
微笑实验室之旅。去掩模标志。下面是一个时间线从左向右移动的框，如下：紫色，1018，NSF，数字音频取证算法基准测试平台，蓝色，2019，NSF，REU 对取证审查员的补充，灰色，2020，MSGC， NSF，迈向 Deepfake 检测框架的开发，绿色，2021 年，NSF，REU 对法证检查员的补充，黄色，2022 年，MTRAC，深度伪造检测器，红色，2023 年，NSF，MTRAC，可解释和鲁棒检测器 (NSF)，DFD (MTRAC) ）。其下方左侧是四个对角堆叠的圆圈。从左下角开始，紫色带指纹和放大镜、报告生成、视觉、文本。红色、齿轮、鲁棒性、集成决策、多模态验证、蓝色、带电路的大脑、可解释性、神经符号、可解释特征、绿色、可概括、常识、人类心理学、多模态。右下角有图。 SpoTNet：用于有效合成语音检测的欺骗感知变压器网络。
流程图从带有向下箭头的说话人图标引导至语音信号图标。从那里，箭头指向标记为数据清理和声学信号处理的框。在此框中，成帧和加窗导致非静音语音索引，导致语音索引归一化，导致带通滤波，导致预加重，导致梅尔频谱图，然后是梅尔频谱图的图像。箭头通向框右侧的两个频谱图，一个标记为包络，另一个标记为对比度。这些图右侧的括号表示基于知识的表示从包络中提取 S 数据点并从对比度中提取 P 数据点以创建 SP 数据集。箭头向下通向标有逻辑欺骗变压器编码器 (LSTE) 的框，其中 SP 矩阵通向四个 Conv。而BN过滤到Token Encoding，标记为Token Tk 1-n，然后一个箭头指向Transformer Encoder，另一个箭头指向Attentive Audio Representation。在此框中，箭头指向标记为“欺骗多层分类”的图表。该图显示了数据流经标记为 Dense、BN 和 DO 的三个层。 DO 显示为 5，Dense 为 128，第一遍为 relu，第二遍为 64，第三遍为 32。从这三个中，箭头指向标记为 Flatten 的框，其中包含 AE 数据 1-n。然后，这将导致一个包含 128 Relu 的 Dense 框、一个包含 5 的 DO 框以及一个包含 1、sigmoid 的最终 Dense 框。箭头指向语音验证输出 - 真实或欺骗。
流程图从带有向下箭头的说话人图标引导至语音信号图标。从那里，箭头指向标记为数据清理和声学信号处理的框。在此框中，成帧和加窗导致非静音语音索引，导致语音索引归一化，导致带通滤波，导致预加重，导致梅尔频谱图，然后是梅尔频谱图的图像。箭头通向框右侧的两个频谱图，一个标记为包络，另一个标记为对比度。这些图右侧的括号表示基于知识的表示从包络中提取 S 数据点并从对比度中提取 P 数据点以创建 SP 数据集。箭头向下通向标有逻辑欺骗变压器编码器 (LSTE) 的框，其中 SP 矩阵通向四个 Conv。而BN过滤到Token Encoding，标记为Token Tk 1-n，然后一个箭头指向Transformer Encoder，另一个箭头指向Attentive Audio Representation。在此框中，箭头指向标记为“欺骗多层分类”的图表。该图显示了数据流经标记为 Dense、BN 和 DO 的三个层。 DO 显示为 5，Dense 为 128，第一遍为 relu，第二遍为 64，第三遍为 32。从这三个中，箭头指向标记为 Flatten 的框，其中包含 AE 数据 1-n。然后，这将导致一个包含 128 Relu 的 Dense 框、一个包含 5 的 DO 框以及一个包含 1、sigmoid 的最终 Dense 框。箭头指向语音验证输出 - 真实或欺骗。
流程图从带有向下箭头的说话人图标引导至语音信号图标。从那里，箭头指向标记为数据清理和声学信号处理的框。在此框中，成帧和加窗导致非静音语音索引，导致语音索引归一化，导致带通滤波，导致预加重，导致梅尔频谱图，然后是梅尔频谱图的图像。箭头通向框右侧的两个频谱图，一个标记为包络，另一个标记为对比度。这些图右侧的括号表示基于知识的表示从包络中提取 S 数据点并从对比度中提取 P 数据点以创建 SP 数据集。箭头向下通向标有逻辑欺骗变压器编码器 (LSTE) 的框，其中 SP 矩阵通向四个 Conv。而BN过滤到Token Encoding，标记为Token Tk 1-n，然后一个箭头指向Transformer Encoder，另一个箭头指向Attentive Audio Representation。在此框中，箭头指向标记为“欺骗多层分类”的图表。该图显示了数据流经标记为 Dense、BN 和 DO 的三个层。 DO 显示为 5，Dense 为 128，第一遍为 relu，第二遍为 64，第三遍为 32。从这三个中，箭头指向标记为 Flatten 的框，其中包含 AE 数据 1-n。然后，这将导致一个包含 128 Relu 的 Dense 框、一个包含 5 的 DO 框以及一个包含 1、sigmoid 的最终 Dense 框。箭头指向语音验证输出 - 真实或欺骗。

这个 NSF 创新合作伙伴关系 (NSF-PFI) 和 MTRAC 资助的项目旨在进一步改进基于 NSF 血统奖#1815724 的深度伪造检测器 (DFD) 技术：SaTC：CORE：ForensicExaminer：数字音频取证算法和 MTRAC 项目基准测试台标题为“深度伪造探测器”。 DFD 可检测视听伪造，包括用于数字多媒体操作的各种类型的 Deepfakes，但新类型不断出现。 DFD MVP 的改进将有助于使其在反取证方面更加强大，并使其更易于访问和解释。

有关详细信息，请参阅：

NeuroAssist：用于预测脑动脉瘤破裂的智能安全决策支持系统

受资助 脑动脉瘤基金会

脑血管意外或中风是全世界残疾的主要原因，也是死亡的第二大原因。此外，中风是所有美国人的第五大死因，也是严重长期残疾的主要原因。全世界每年有 15 万人遭受中风，其中 5 万人死亡，另有 5 万人永久残疾。

向左和向右画圈。右上角有微笑标志。标题为：蛛网膜下腔出血预测：医疗保健中的问题和未满足的需求左圆圈表示人工智能在医学中的挑战，并有一个心脏图标。 5个气泡从中产生。紫色，有限的性能和高培训成本蓝色，对循环方法的需求橙色，数据隐私和完整性绿色，对多模态表示学习的需求红色，数据稀缺，小数据集和非独立同分布右有同心圆，未满足的需求位于中心。外圈，绿色，1.缺乏多模式和大型训练样本当前数据集的缺陷限制了人工智能模型有效泛化的能力并阻碍了性能。深蓝色，2，隐私保护去中心化解决方案现有的挑战围绕着对去中心化解决方案的需求，以维护敏感健康数据的机密性。黄色，3. 缺乏可解释性和人类循环人工智能人工智能和领域专家之间的知识差距需要通过可解释的预测来填补。红色，4。缺乏跨学科方法解决复杂的心血管/神经血管问题需要综合多个学科的专业知识。
向左和向右画圈。右上角有微笑标志。标题为：蛛网膜下腔出血预测：医疗保健中的问题和未满足的需求左圆圈表示人工智能在医学中的挑战，并有一个心脏图标。 5个气泡从中产生。紫色，有限的性能和高培训成本蓝色，对循环方法的需求橙色，数据隐私和完整性绿色，对多模态表示学习的需求红色，数据稀缺，小数据集和非独立同分布右有同心圆，未满足的需求位于中心。外圈，绿色，1.缺乏多模式和大型训练样本当前数据集的缺陷限制了人工智能模型有效泛化的能力并阻碍了性能。深蓝色，2，隐私保护去中心化解决方案现有的挑战围绕着对去中心化解决方案的需求，以维护敏感健康数据的机密性。黄色，3. 缺乏可解释性和人类循环人工智能人工智能和领域专家之间的知识差距需要通过可解释的预测来填补。红色，4。缺乏跨学科方法解决复杂的心血管/神经血管问题需要综合多个学科的专业知识。
向左和向右画圈。右上角有微笑标志。标题为：蛛网膜下腔出血预测：医疗保健中的问题和未满足的需求左圆圈表示人工智能在医学中的挑战，并有一个心脏图标。 5个气泡从中产生。紫色，有限的性能和高培训成本蓝色，对循环方法的需求橙色，数据隐私和完整性绿色，对多模态表示学习的需求红色，数据稀缺，小数据集和非独立同分布右有同心圆，未满足的需求位于中心。外圈，绿色，1.缺乏多模式和大型训练样本当前数据集的缺陷限制了人工智能模型有效泛化的能力并阻碍了性能。深蓝色，2，隐私保护去中心化解决方案现有的挑战围绕着对去中心化解决方案的需求，以维护敏感健康数据的机密性。黄色，3. 缺乏可解释性和人类循环人工智能人工智能和领域专家之间的知识差距需要通过可解释的预测来填补。红色，4。缺乏跨学科方法解决复杂的心血管/神经血管问题需要综合多个学科的专业知识。

为了防止这些死亡和残疾，神经科医生和神经外科医生必须能够及早诊断根本原因并改善他们的临床管理。他们还需要考虑多种复杂因素来确定个人的总体风险，包括脑动脉瘤、动静脉畸形 (AVM) 和脑闭塞性疾病 (COD)。

引起中风的疾病的临床管理非常复杂。为了说明其复杂性，我们以未破裂颅内动脉瘤本身为例。治疗它们是一个复杂的决策过程，因为破裂的风险不仅仅取决于动脉瘤的大小。位置/动脉非常重要；某些动脉上的小动脉瘤可能会破裂，而其他动脉上的大动脉瘤则可能不会破裂。

除了动脉瘤本身的孤立病例外，颈动脉内不同程度的动静脉畸形和斑块积累也会增加整体中风风险的其他危险因素。我们目前的评估不足以满足这种复杂性。

缺乏正确的数据通常会导致决策过程被恰当地描述为“安全总比后悔好”。毫无疑问，手术干预是消除中风风险的成功方法。然而，这些手术是侵入性的，可能会导致严重的医源性并发症或神经功能缺损，因此治疗所有动脉瘤/AVM/COD 并不总是值得冒这个风险。

图表。标题为“特定位置与特定位置”。全局模型图分为三个部分。左侧有四个区域，从数据集向下流动，经过欠采样，然后经过三个特定位置的全局训练模型，最终形成两个规则集。中间部分从相同的数据集开始，但仅通过 Apriori 算法（50% 置信度和 20% 支持）进行过滤，并导致四个规则集。第三部分展示了累积的数据和规则集如何与项目5年的建模经验和领域专家的权重优化相结合，形成一个大大改进的规则集。
图表。标题为“特定位置与特定位置”。全局模型图分为三个部分。左侧有四个区域，从数据集向下流动，经过欠采样，然后经过三个特定位置的全局训练模型，最终形成两个规则集。中间部分从相同的数据集开始，但仅通过 Apriori 算法（50% 置信度和 20% 支持）进行过滤，并导致四个规则集。第三部分展示了累积的数据和规则集如何与项目5年的建模经验和领域专家的权重优化相结合，形成一个大大改进的规则集。
图表。标题为“特定位置与特定位置”。全局模型图分为三个部分。左侧有四个区域，从数据集向下流动，经过欠采样，然后经过三个特定位置的全局训练模型，最终形成两个规则集。中间部分从相同的数据集开始，但仅通过 Apriori 算法（50% 置信度和 20% 支持）进行过滤，并导致四个规则集。第三部分展示了累积的数据和规则集如何与项目5年的建模经验和领域专家的权重优化相结合，形成一个大大改进的规则集。

另一方面，综合多种因素时的延迟干预会增加中风的风险，其后果可能是死亡或永久残疾。当总体风险较高时，必须立即进行正确的治疗。

如果没有可靠的临床风险/严重程度评分，神经外科医生必须依靠根据不可靠的数据和以前的经验编制的启发法。

四张图。标题为动脉瘤检测和分割的知识注入模型 SMILES 徽标位于右上角。左上预处理对动脉瘤图像进行了各种比较。箭头向下通向知识注入 DNN 和右上角的知识提取。该框显示了医学专家对模型的培训以及 ROI 提取和分类的反馈。该部分的一部分通向右下框，并提供给注入级别选择和等效特征图计算，其中有一些黑盒插图和自适应权重利用、自适应层注入部分以及特定于级别的深层特征提取。这些循环回到左下角的知识注入 DNN 部分，并导致检测输出和分割输出。底部写着“DeepInfusion：一种基于动态输注的神经符号人工智能模型，用于分割颅内动脉瘤。”神经计算 551 (2023): 126510。
四张图。标题为动脉瘤检测和分割的知识注入模型 SMILES 徽标位于右上角。左上预处理对动脉瘤图像进行了各种比较。箭头向下通向知识注入 DNN 和右上角的知识提取。该框显示了医学专家对模型的培训以及 ROI 提取和分类的反馈。该部分的一部分通向右下框，并提供给注入级别选择和等效特征图计算，其中有一些黑盒插图和自适应权重利用、自适应层注入部分以及特定于级别的深层特征提取。这些循环回到左下角的知识注入 DNN 部分，并导致检测输出和分割输出。底部写着“DeepInfusion：一种基于动态输注的神经符号人工智能模型，用于分割颅内动脉瘤。”神经计算 551 (2023): 126510。
四张图。标题为动脉瘤检测和分割的知识注入模型 SMILES 徽标位于右上角。左上预处理对动脉瘤图像进行了各种比较。箭头向下通向知识注入 DNN 和右上角的知识提取。该框显示了医学专家对模型的培训以及 ROI 提取和分类的反馈。该部分的一部分通向右下框，并提供给注入级别选择和等效特征图计算，其中有一些黑盒插图和自适应权重利用、自适应层注入部分以及特定于级别的深层特征提取。这些循环回到左下角的知识注入 DNN 部分，并导致检测输出和分割输出。底部写着“DeepInfusion：一种基于动态输注的神经符号人工智能模型，用于分割颅内动脉瘤。”神经计算 551 (2023): 126510。

在这两个极端之间，有很多情况需要对风险进行长期监控，而不是采取行动。医生们在决定何时治疗和何时观察方面苦苦挣扎，每年都会进行数以千计的不必要的手术，因为事实并非如此。当然。根据相似患者的一组危险因素量化总体中风风险可以帮助神经外科医生更轻松地做出这一关键决定。

这意味着该工具必须是值得信赖的工具，临床医生可以用它来解释个人情况。患者和家属正在想象最坏的结果。他们担心毁灭性的中风和治疗的经济负担。能够清楚地解释为什么最好的选择是等待和监控，这对这些家庭来说是一个巨大的好处。

标题为“StrokeNet：颅内动脉瘤分割和破裂预测的自动化方法”的图表 SMILES 徽标位于右上角。两个框的左侧写着“步骤 1：动脉瘤分割”。有扫描图像和许多带有小字体的代表性图标。箭头指向方框二，步骤 2：动脉瘤破裂预测。左边的四张图像通向四个部分，深度特征、几何特征、血流模式和傅里叶描述符，它们通向一个显示这些因素权重的方框，然后是特征选择，然后是分类器，然后是绿色、轻度、黄色中等、粉色严重，红色严重。底部写道：“StrokeNet：一种用于颅内动脉瘤分割和破裂风险预测的自动化方法。”计算机化医学成像和图形 108 (2023): 102271。
标题为“StrokeNet：颅内动脉瘤分割和破裂预测的自动化方法”的图表 SMILES 徽标位于右上角。两个框的左侧写着“步骤 1：动脉瘤分割”。有扫描图像和许多带有小字体的代表性图标。箭头指向方框二，步骤 2：动脉瘤破裂预测。左边的四张图像通向四个部分，深度特征、几何特征、血流模式和傅里叶描述符，它们通向一个显示这些因素权重的方框，然后是特征选择，然后是分类器，然后是绿色、轻度、黄色中等、粉色严重，红色严重。底部写道：“StrokeNet：一种用于颅内动脉瘤分割和破裂风险预测的自动化方法。”计算机化医学成像和图形 108 (2023): 102271。
标题为“StrokeNet：颅内动脉瘤分割和破裂预测的自动化方法”的图表 SMILES 徽标位于右上角。两个框的左侧写着“步骤 1：动脉瘤分割”。有扫描图像和许多带有小字体的代表性图标。箭头指向方框二，步骤 2：动脉瘤破裂预测。左边的四张图像通向四个部分，深度特征、几何特征、血流模式和傅里叶描述符，它们通向一个显示这些因素权重的方框，然后是特征选择，然后是分类器，然后是绿色、轻度、黄色中等、粉色严重，红色严重。底部写道：“StrokeNet：一种用于颅内动脉瘤分割和破裂风险预测的自动化方法。”计算机化医学成像和图形 108 (2023): 102271。

为了满足这一需求，我们开发了采用分散且高度可解释的基于人工智能的方法的工具。这些工具使用多种技术：数字减影血管造影、磁共振血管造影和计算机断层扫描血管造影图像模态的多模态 AI 以及临床文本、联合学习、基于 RAG 的神经符号 AI、计算流体动力学和多模态可解释 AI 。

最终，该项目将提供能够减少死亡和长期残疾的工具，为患者和我们的医疗保健系统支付高昂的费用，并减轻患者的心理压力。它还将有助于开发和与其他研究人员分享更可靠的数据，以增进我们对未来脑动脉瘤的理解。

有关详细信息，请参阅： 脑动脉瘤基金会：会见研究资助者：Khalid Malik 博士

基于神经符号人工智能的网页过滤

主办单位 网星公司

微笑实验室标志

可解释的多模态神经符号
用于网页过滤的边缘人工智能模型

工程系统实验室的安全建模和智能学习

网络过滤解决方案是网络安全的重要组成部分。它们阻止对恶意网站的访问，防止恶意软件感染我们的机器，并保护敏感数据不被泄露到组织之外。它们在各个领域提供安全、高效和受控的在线体验，解决与安全、生产力和内容适当性相关的问题。互联网数据和知识共享使用的不断增长趋势要求对网络内容进行动态分类，特别是在互联网边缘。

标题栏： 问题：工业相关性和新颖性 左：垂直列出 NetSTAR 需求：以及以下延伸到右侧的内容： 1. 为动态内容开发准确的、值得信赖的多模态 AI URL 过滤 2. 多模态表示学习的需求 3. 多语言小型数据集 4 . 人机循环方法的需求 5. 数据隐私 右：SMILES Lab，气泡向左突出，从上到下，1. 多样化内容的神经符号人工智能 2. 多模态学习 3. 知识注入 4. 多语言表示学习 5.联邦学习
标题栏： 问题：工业相关性和新颖性 左：垂直列出 NetSTAR 需求：以及以下延伸到右侧的内容： 1. 为动态内容开发准确的、值得信赖的多模态 AI URL 过滤 2. 多模态表示学习的需求 3. 多语言小型数据集 4 . 人机循环方法的需求 5. 数据隐私 右：SMILES Lab，气泡向左突出，从上到下，1. 多样化内容的神经符号人工智能 2. 多模态学习 3. 知识注入 4. 多语言表示学习 5.联邦学习
标题栏： 问题：工业相关性和新颖性 左：垂直列出 NetSTAR 需求：以及以下延伸到右侧的内容： 1. 为动态内容开发准确的、值得信赖的多模态 AI URL 过滤 2. 多模态表示学习的需求 3. 多语言小型数据集 4 . 人机循环方法的需求 5. 数据隐私 右：SMILES Lab，气泡向左突出，从上到下，1. 多样化内容的神经符号人工智能 2. 多模态学习 3. 知识注入 4. 多语言表示学习 5.联邦学习

如今的公司需要这些解决方案具有多语言功能并保护员工的数据隐私。为了应对这些挑战，需要一个可靠的解决方案，能够有效地将 URL 分类为正确的类别。

为了满足这些需求，UM-Flint 与日本领先的 URL 过滤公司 Netstar Inc. 合作，开发基于机器学习的解决方案。该团队由工程系统安全建模与智能学习（SMILES）实验室多名博士生和博士后以及网星公司员工组成。

参与该项目的学生将学习自然语言处理、多语言内容处理和知识图开发的先进技术。他们将获得神经符号和多模式人工智能方面的经验，这些人工智能是可解释的并提供推理。他们还将有机会获得与跨国公司合作所需的许多软技能。

自动化神经知识图管理

要开发神经符号人工智能系统，必须拥有代表领域所有实体及其之间关系的知识图。

近年来知识图（KG）的快速增长表明知识工程的复兴。在已发表的文献中使用 KG 来提取神经符号模型和基于专家的系统可以使用的可用信息是解决数据消耗问题最有前途的方法之一；并且对机器学习、深度学习等人工智能技术提供了更多的解释

当今大多数公司都认识到数据是他们最有价值的资产，但它可以有多种不同的形式和格式。让这些数据可用于机器学习和人工智能工具具有挑战性。目前，知识图谱的创建和管理大多是手动或半自动化的，因此这是一个劳动密集型的过程。在许多情况下，这个手动过程会让具有高水平专业知识的人无法将时间投入到他们可以做的核心产品或科学工作上。

从大量非结构化数据中自动管理知识图可以提取机器可读的可操作信息，并可能有助于从大数据中发现知识。为了获得可操作的信息，有必要识别给定域的实体的来源、含义以及之间的关系。

此外，自动提取可靠且一致的知识，特别是从大规模的结构化和非结构化来源中提取知识，是一项艰巨的挑战。关于健康知识图谱的自动化构建的尝试很少。那些已经尝试过的人通过只拥有一种类型的关系将他们的注意力限制在三胞胎的创造上。

标题：自动化知识图管理框架概念视图左侧三个气泡，每个气泡都有指向右侧的箭头，导致一个大气泡，内部有三个互连的气泡。左起：蓝色。文档图标。文本预处理、标记化、规范化、标记蓝绿色、聚类图标、分类、聚类。绿蓝，家谱图标，分类，PICO。标记为“知识建模”的浅绿色大圆圈。三个绿色圆圈。左上角，清单图标，概念提取，OBIE。右上角箭头，集群图标，关系提取，BioBERT，CNN-BiLSTM。箭头向下到第三个圆圈，KG 生成，提取三元组左下角有缩写图例：PICO - 患者/人群、干预、比较和结果。 OBIE - 基于本体的信息提取，BioBERT - 生物医学 BERT
标题：自动化知识图管理框架概念视图左侧三个气泡，每个气泡都有指向右侧的箭头，导致一个大气泡，内部有三个互连的气泡。左起：蓝色。文档图标。文本预处理、标记化、规范化、标记蓝绿色、聚类图标、分类、聚类。绿蓝，家谱图标，分类，PICO。标记为“知识建模”的浅绿色大圆圈。三个绿色圆圈。左上角，清单图标，概念提取，OBIE。右上角箭头，集群图标，关系提取，BioBERT，CNN-BiLSTM。箭头向下到第三个圆圈，KG 生成，提取三元组左下角有缩写图例：PICO - 患者/人群、干预、比较和结果。 OBIE - 基于本体的信息提取，BioBERT - 生物医学 BERT
标题：自动化知识图管理框架概念视图左侧三个气泡，每个气泡都有指向右侧的箭头，导致一个大气泡，内部有三个互连的气泡。左起：蓝色。文档图标。文本预处理、标记化、规范化、标记蓝绿色、聚类图标、分类、聚类。绿蓝，家谱图标，分类，PICO。标记为“知识建模”的浅绿色大圆圈。三个绿色圆圈。左上角，清单图标，概念提取，OBIE。右上角箭头，集群图标，关系提取，BioBERT，CNN-BiLSTM。箭头向下到第三个圆圈，KG 生成，提取三元组左下角有缩写图例：PICO - 患者/人群、干预、比较和结果。 OBIE - 基于本体的信息提取，BioBERT - 生物医学 BERT
自动化知识图管理框架。功能视图 下面是以下列表： 数据预处理 聚类 - 神经符号 PICO 分类 关系提取器 知识图生成器 右侧是一个复杂的图表，顶部有四个框，下面有一个框。从上到下，数据预处理包括数据集、文本预处理气泡，包括句子检测、标记化、清理和特征化。引向第二个框，神经符号聚类，其中有标记为“生成训练数据”、“聚类模型”和“知识注入”的树垂直框。每个都有一个新闻页面图标，作为箭头的一部分，指向第三部分中的四个框（集群模型有两个脱落），第三个框被标记为 PICO 分类器，其中的四个框中的每一个都显示每个集群通过 P 馈送， I、C 和 O 分类过程。这四个框的箭头汇聚成一个大服务器图标，其中包含一些分类符号。该服务器图标是第四个框中的三个元素之一，标记为关系提取器，它指向其他两个元素中的每一个，其中一个是税收。 RE，其中包含概念映射到语义组、语义组识别和关系提取部分。第四个框中的最后一个元素是非税。 RE，它采用相同的集群并引导它们完成配对创建、配对关系检测，然后是配对关系识别。第四个框的最后部分通过一个向下的箭头汇聚到图像的底部部分，该图像有四个从右下到左的框。第一个被标记为三次提取并包含税。 RE 三元组、概念-簇-概念、概念-主题-概念、概念-PICO-概念和概念-关系-概念。箭头向左指向标题为“初始 KG 生成”的集群关系图像。箭头通向 KG 完成，在概念和关系项之间有一个附加箭头，这会导致最终图像标记为“歧义消除”，元素之间的箭头较少。这个底部盒子的标题是 KG Fusion。
自动化知识图管理框架。功能视图 下面是以下列表： 数据预处理 聚类 - 神经符号 PICO 分类 关系提取器 知识图生成器 右侧是一个复杂的图表，顶部有四个框，下面有一个框。从上到下，数据预处理包括数据集、文本预处理气泡，包括句子检测、标记化、清理和特征化。引向第二个框，神经符号聚类，其中有标记为“生成训练数据”、“聚类模型”和“知识注入”的树垂直框。每个都有一个新闻页面图标，作为箭头的一部分，指向第三部分中的四个框（集群模型有两个脱落），第三个框被标记为 PICO 分类器，其中的四个框中的每一个都显示每个集群通过 P 馈送， I、C 和 O 分类过程。这四个框的箭头汇聚成一个大服务器图标，其中包含一些分类符号。该服务器图标是第四个框中的三个元素之一，标记为关系提取器，它指向其他两个元素中的每一个，其中一个是税收。 RE，其中包含概念映射到语义组、语义组识别和关系提取部分。第四个框中的最后一个元素是非税。 RE，它采用相同的集群并引导它们完成配对创建、配对关系检测，然后是配对关系识别。第四个框的最后部分通过一个向下的箭头汇聚到图像的底部部分，该图像有四个从右下到左的框。第一个被标记为三次提取并包含税。 RE 三元组、概念-簇-概念、概念-主题-概念、概念-PICO-概念和概念-关系-概念。箭头向左指向标题为“初始 KG 生成”的集群关系图像。箭头通向 KG 完成，在概念和关系项之间有一个附加箭头，这会导致最终图像标记为“歧义消除”，元素之间的箭头较少。这个底部盒子的标题是 KG Fusion。
自动化知识图管理框架。功能视图 下面是以下列表： 数据预处理 聚类 - 神经符号 PICO 分类 关系提取器 知识图生成器 右侧是一个复杂的图表，顶部有四个框，下面有一个框。从上到下，数据预处理包括数据集、文本预处理气泡，包括句子检测、标记化、清理和特征化。引向第二个框，神经符号聚类，其中有标记为“生成训练数据”、“聚类模型”和“知识注入”的树垂直框。每个都有一个新闻页面图标，作为箭头的一部分，指向第三部分中的四个框（集群模型有两个脱落），第三个框被标记为 PICO 分类器，其中的四个框中的每一个都显示每个集群通过 P 馈送， I、C 和 O 分类过程。这四个框的箭头汇聚成一个大服务器图标，其中包含一些分类符号。该服务器图标是第四个框中的三个元素之一，标记为关系提取器，它指向其他两个元素中的每一个，其中一个是税收。 RE，其中包含概念映射到语义组、语义组识别和关系提取部分。第四个框中的最后一个元素是非税。 RE，它采用相同的集群并引导它们完成配对创建、配对关系检测，然后是配对关系识别。第四个框的最后部分通过一个向下的箭头汇聚到图像的底部部分，该图像有四个从右下到左的框。第一个被标记为三次提取并包含税。 RE 三元组、概念-簇-概念、概念-主题-概念、概念-PICO-概念和概念-关系-概念。箭头向左指向标题为“初始 KG 生成”的集群关系图像。箭头通向 KG 完成，在概念和关系项之间有一个附加箭头，这会导致最终图像标记为“歧义消除”，元素之间的箭头较少。这个底部盒子的标题是 KG Fusion。

传统模型不考虑知识图谱中领域概念之间的语义、相关性和因果关系。现有的方法都没有专注于在提取的概念之间建立层次关系。此外，使用词嵌入或基于本体的信息提取的概念提取并不能提供可靠的准确性，这也会影响关系提取的准确性。最后，还没有努力开发机器和人类都可以解释的预测知识，以实现真正的共生人机和机器机交互。

该项目试图通过利用结构化和非结构化数据提出自动化的特定领域知识图构建来解决上述挑战。这个过程正在多个行业重复进行 此 Deepfake 检测器 MVP, 神经辅助人工智能及 Netstar 基于人工智能的网页过滤 项目。

汽车网络安全教育

微笑实验室标志

车辆传感器的完整性验证
使用数字孪生和多模式人工智能

工程系统实验室的安全建模和智能学习

顶部中心：传感层和信号图标，周围有两个指向内的箭头。聊天图标和反馈层，周围有两个指向外的箭头。左边是真实的车辆，右边是草图车辆。他们指向内。左侧车辆上方是物理空间，物理输入位于左侧，箭头指向车辆。这辆车下面有一个盒子。系统 - 四个图标，分别标记为车辆网络、传感器、外部网络和驾驶系统。右边的汽车上面写着数字空间，右边写着网络输入，并有一个箭头指向它。下面的框显示模块。两个框之间有一个带有大脑的计算机图标，标记为感知认知层，并指向此模块框。所有四个图标都在此框中重复，并添加了第五个图标，代表两个齿轮和箭头，完成它们之间的电路。右侧是一个人的图标，其箭头指向标有网络安全 SME 的模块框。
顶部中心：传感层和信号图标，周围有两个指向内的箭头。聊天图标和反馈层，周围有两个指向外的箭头。左边是真实的车辆，右边是草图车辆。他们指向内。左侧车辆上方是物理空间，物理输入位于左侧，箭头指向车辆。这辆车下面有一个盒子。系统 - 四个图标，分别标记为车辆网络、传感器、外部网络和驾驶系统。右边的汽车上面写着数字空间，右边写着网络输入，并有一个箭头指向它。下面的框显示模块。两个框之间有一个带有大脑的计算机图标，标记为感知认知层，并指向此模块框。所有四个图标都在此框中重复，并添加了第五个图标，代表两个齿轮和箭头，完成它们之间的电路。右侧是一个人的图标，其箭头指向标有网络安全 SME 的模块框。
顶部中心：传感层和信号图标，周围有两个指向内的箭头。聊天图标和反馈层，周围有两个指向外的箭头。左边是真实的车辆，右边是草图车辆。他们指向内。左侧车辆上方是物理空间，物理输入位于左侧，箭头指向车辆。这辆车下面有一个盒子。系统 - 四个图标，分别标记为车辆网络、传感器、外部网络和驾驶系统。右边的汽车上面写着数字空间，右边写着网络输入，并有一个箭头指向它。下面的框显示模块。两个框之间有一个带有大脑的计算机图标，标记为感知认知层，并指向此模块框。所有四个图标都在此框中重复，并添加了第五个图标，代表两个齿轮和箭头，完成它们之间的电路。右侧是一个人的图标，其箭头指向标有网络安全 SME 的模块框。

培训和招聘网络安全是当今劳动力发展中最紧迫的问题之一。全球 工程及科技学会的 已经发布 汽车网络安全，对互联汽车风险观点的思想领导力审查，它解释了我们朝着更多互联汽车发展的轨迹大大增加了汽车行业对网络安全专业人员的需求。

不过，填补这些角色面临着挑战：学习曲线。如今的网络安全教育可能有点枯燥和理论化，使其看起来比实际情况更难以理解，但事实并非必须如此。

顶部中心，一个带有节点的云图标被标记为基于云的互连。下面三个盒子。左：物理输入、真车、传感器图标、方向盘图标和四轮传动系统图标。仪表板视图和物理体验标签的图像。箭头指向中间框：数字孪生、幽灵车、齿轮电路图标、带节点的汽车图标和图形图标、标记为双模块的虚拟仪表板图像。箭头指向右侧的框，下面带有黑客/网络安全专家图标。右侧的方框标记为 AR/VR 游戏引擎 - 看起来介于真实和数字之间的汽车，三个图标代表 360 VR，图像显示并标记为 VR 用户体验。
顶部中心，一个带有节点的云图标被标记为基于云的互连。下面三个盒子。左：物理输入、真车、传感器图标、方向盘图标和四轮传动系统图标。仪表板视图和物理体验标签的图像。箭头指向中间框：数字孪生、幽灵车、齿轮电路图标、带节点的汽车图标和图形图标、标记为双模块的虚拟仪表板图像。箭头指向右侧的框，下面带有黑客/网络安全专家图标。右侧的方框标记为 AR/VR 游戏引擎 - 看起来介于真实和数字之间的汽车，三个图标代表 360 VR，图像显示并标记为 VR 用户体验。
顶部中心，一个带有节点的云图标被标记为基于云的互连。下面三个盒子。左：物理输入、真车、传感器图标、方向盘图标和四轮传动系统图标。仪表板视图和物理体验标签的图像。箭头指向中间框：数字孪生、幽灵车、齿轮电路图标、带节点的汽车图标和图形图标、标记为双模块的虚拟仪表板图像。箭头指向右侧的框，下面带有黑客/网络安全专家图标。右侧的方框标记为 AR/VR 游戏引擎 - 看起来介于真实和数字之间的汽车，三个图标代表 360 VR，图像显示并标记为 VR 用户体验。

我们的研究小组正在开发各种工具，例如虚拟“数字双胞胎”和视觉问答系统，以教授汽车网络安全等跨学科主题的复杂性。这一过程将使学生能够通过 VR 体验物联网传感器、驾驶系统以及车辆内外的系统和软件网络在物理车辆中交互的复杂方式。

总之，利用神经符号逻辑、人工智能和翻转课堂，我们正在努力从头开始重新设计课程，从汽车网络安全的新产品开始。该课程将以真实汽车系统的数字孪生进行实践练习，并将通过基于大型语言模型（如 chatGPT）的聊天机器人提供 24/7 帮助。