UM-플린트 미시간 대학교 로고 - 플린트

엔지니어링 시스템 연구실의 보안 모델링 및 지능형 학습

사이버 보안 및 신경퇴행성 질환을 위한 AI 도구

이사 및 PI: 칼리드 말리크, 사이버 보안 프로그램 책임자, CIT 컴퓨팅 부문 교수

SMILES(엔지니어링 시스템의 보안 모델링 및 지능형 학습) 연구소는 가장 시급한 문제에 대한 최첨단 AI 기반 솔루션을 개발하기 위해 틀에서 벗어난 사고를 수용하는 미래 지향적인 학제간 교수진 및 학생 연구원 그룹입니다. 우리 시대의. SMILES 팀이 진행하는 중개 연구는 우리 모두에게 도움이 될 사이버 보안 및 의료 분야의 시장성 있는 솔루션을 통해 커뮤니티를 넘어 확장되는 영향을 미칩니다.

SMILES 연구소의 대담한 비전은 긴급한 요구 사항을 파악하고 이를 해결하기 위한 AI 도구를 구축하고 개선하는 데 확고한 초점을 두었습니다. Malik과 그의 팀은 많은 저널과 컨퍼런스 기사를 출판했으며 지속적으로 그 기반을 구축하고 있습니다. 업계 및 의료 전문가와의 풍부한 관계를 통해 팀은 관련 솔루션으로 매우 구체적인 요구 사항을 충족할 수 있었습니다. 

SMILES 연구의 외부 영향 외에도 SMILES 프로젝트에 참여하는 학생들은 풍부하고 독특한 경험을 얻고 있습니다. 그들은 최신 AI 및 사이버 보안 도구에 노출되는 동시에 삶을 변화시키는 성장을 가능하게 하는 민첩하고 비판적인 사고를 실천할 수 있도록 지속적으로 지원을 받습니다. Malik의 사려 깊은 멘토링을 통해 학생들은 중요한 가시적 목표를 향한 끈기를 실천할 수 있는 힘을 얻습니다. 이러한 기술과 그들이 형성하는 관계는 평생 지속될 것이며 연구와 실천 사이의 격차를 해소하는 방법을 아는 창의적인 개인이 많이 필요한 세상에 대비할 수 있습니다.

이 페이지에서

인공지능을 활용한 설명 가능하고 강력한 위조 멀티미디어 및 사이버 위협 탐지기 개발

자금 지원 국립 과학 재단 (National Science Foundation) 및 미시간 중개 연구 및 상업화

스왑을 나타내는 딥 페이크 마스크

심층 위조 탐지기(DFD)

진실을 밝혀라. 정의를 찾아라

디마스크 로고

엔지니어링 시스템 연구실의 보안 모델링 및 지능형 학습

보는 것이 곧 믿는 것입니다. 하지만 얼마나 오랫동안 그럴까요? 디마스크 로고. Deepfakes에 대한 대중의 우려에 관한 최근 뉴스 기사의 스냅샷. 딥페이크 오디오는 정치적 악몽이다, 마이크로소프트의 새로운 AI는 3초의 오디오로 누구의 목소리도 시뮬레이션할 수 있다, AI 사기: 캐나다 커플이 가짜 아들의 목소리에 K를 잃다, 일본 총리의 AI 생성 딥페이크가 우려를 낳는다
보는 것이 곧 믿는 것입니다. 하지만 얼마나 오랫동안 그럴까요? 디마스크 로고. Deepfakes에 대한 대중의 우려에 관한 최근 뉴스 기사의 스냅샷. Deepfake Audio는 정치적인 악몽입니다. ​​Microsoft의 새로운 AI는 3초의 오디오로 누구의 목소리도 시뮬레이션할 수 있습니다. AI 사기: 캐나다 부부는 가짜 아들의 목소리로 21달러를 잃었습니다. 일본 총리의 AI 생성 Deepfake가 우려를 낳습니다.
보는 것이 곧 믿는 것입니다. 하지만 얼마나 오랫동안 그럴까요? 디마스크 로고. Deepfakes에 대한 대중의 우려에 관한 최근 뉴스 기사의 스냅샷. Deepfake Audio는 정치적인 악몽입니다. ​​Microsoft의 새로운 AI는 3초의 오디오로 누구의 목소리도 시뮬레이션할 수 있습니다. AI 사기: 캐나다 부부는 가짜 아들의 목소리로 21달러를 잃었습니다. 일본 총리의 AI 생성 Deepfake가 우려를 낳습니다.

허위 정보는 사회에 대한 우려가 커지고 있으며 딥페이크 멀티미디어라는 새로운 무기에 의해 촉진됩니다. 우리는 평생 동안 자신의 눈으로 보는 것만 믿으라고 들어왔지만, 처음으로 더 이상 그것을 믿을 수 없게 되었습니다. AI가 생성한 딥페이크는 공상 과학의 영역을 벗어났으며 우리의 즉각적인 관심을 요구하는 불안한 현실입니다.

Deepfake는 본질적으로 마치 원본 인공물인 것처럼 보이도록 AI에 의해 조작되거나 완전히 생성된 미디어 조각입니다. 최근 Generative AI 도구가 개발되면서 인간이 도움 없이는 더 이상 차이를 감지할 수 없는 수준까지 기능이 향상되었습니다.

가짜 멀티미디어는 전 세계적으로 점점 더 큰 위협이 되고 있습니다. 잘못된 정보는 새로운 전술이 아니지만 오늘날의 도구는 훨씬 더 발전했습니다. 정치 또는 업계 리더의 잘 만들어진 AI 영상은 공공 또는 기업 정책에 대한 잘못된 이야기를 퍼뜨릴 수 있으며 대중에게 파괴적인 영향을 미칠 수 있습니다. 일부 외국 국가 원수가 미국에 대한 공격이 임박했다고 위협하는 바이러스성 비디오를 상상해 보십시오. 그러나 그 비디오는 실제 비디오와 구별할 수 없습니다.

딥페이크: 가장 위험한 사이버 무기. 그 아래에는 딥페이크의 불안정한 정치적 영향... 우크라이나 대통령 볼로디미르 젤렌스키가 군인들에게 무기를 내려놓으라고 촉구하는 딥페이크가 해킹된 우크라이나 뉴스 웹사이트에 업로드된 것으로 알려졌습니다. 오른쪽에는 핵전쟁의 현실이라는 뉴스 배너를 들고 있는 POTUS Joe Biden의 이미지가 있습니다. 캡션에는 Biden이 우크라이나에서 싸우기 위해 남성과 여성이 징집될 것이라고 발표했다고 나와 있습니다.
딥페이크: 가장 위험한 사이버 무기. 그 아래에는 딥페이크의 불안정한 정치적 영향... 우크라이나 대통령 볼로디미르 젤렌스키가 군인들에게 무기를 내려놓으라고 촉구하는 딥페이크가 해킹된 우크라이나 뉴스 웹사이트에 업로드된 것으로 알려졌습니다. 오른쪽에는 핵전쟁의 현실이라는 뉴스 배너를 들고 있는 POTUS Joe Biden의 이미지가 있습니다. 캡션에는 Biden이 우크라이나에서 싸우기 위해 남성과 여성이 징집될 것이라고 발표했다고 나와 있습니다.
딥페이크: 가장 위험한 사이버 무기. 그 아래에는 딥페이크의 불안정한 정치적 영향... 우크라이나 대통령 볼로디미르 젤렌스키가 군인들에게 무기를 내려놓으라고 촉구하는 딥페이크가 해킹된 우크라이나 뉴스 웹사이트에 업로드된 것으로 알려졌습니다. 오른쪽에는 핵전쟁의 현실이라는 뉴스 배너를 들고 있는 POTUS Joe Biden의 이미지가 있습니다. 캡션에는 Biden이 우크라이나에서 싸우기 위해 남성과 여성이 징집될 것이라고 발표했다고 나와 있습니다.

사기에 딥페이크 오디오 및 비디오를 사용하는 경우가 점점 더 많아지고 있습니다. 4년 2024월 XNUMX일, 다국적 기업의 재무 직원이 딥페이크 '최고재무책임자(CFO)' 영상 통화에 속아 돈을 지불했습니다. 사기꾼에게 25만 달러.

대규모 금융 기관이 이러한 일의 희생양이 될 수 있다면 일반 시민의 취약성을 고려하십시오. 에 따르면 2022 설문 조사 16,000개국 71명 중 XNUMX%가 딥페이크가 무엇인지조차 모른다고 답했습니다.

우리가 국제적 수준에서 글로벌 안보, 민주주의 제도 및 사기에 대한 딥페이크의 위협을 논의할 때, 검증된 오디오 및 비디오 아티팩트가 이제 우리 사법 시스템의 증거로서 표준이라는 점에 유의하는 것이 중요합니다. 딥페이크는 해당 프로세스의 무결성에 심각한 위협을 가합니다.

법원 증거 표준을 충족하는 것은 어려운 작업입니다. 특히 디지털 워터마크와 같은 기본 메타데이터가 없거나 미디어가 법의학 적 의도로 후처리되는 경우 더욱 그렇습니다. 2024년 XNUMX월 초, Meta와 같은 소셜 미디어 플랫폼은 AI 생성 콘텐츠에 라벨을 지정하도록 요구할 것이라고 발표했지만 이는 '잠금은 정직한 사람을 막는 것'이라는 범주에 속합니다. 속임수를 위해 이러한 고급 도구를 사용하려는 사람들은 그 도구에 라벨을 붙이지 않을 것입니다.

설득력 있는 가짜 비디오를 만드는 능력이 크게 향상됨에 따라 합법적인 디지털 미디어 가공물을 인증해야 하는 필요성도 커졌습니다. 그 외에도 이러한 미디어 아티팩트를 인증하는 데 필요한 도구는 접근 가능한 방식으로 평가를 제공해야 합니다. 예를 들어, 우리의 사법 시스템은 AI 및 사이버 보안 시스템에 대한 깊은 지식이 없는 '동료 배심원단'을 중심으로 설계되었습니다.

이러한 필수 요구 사항을 충족하기 위해 우리는 Deep Forgery Detector를 개발했습니다. 이 연구는 국립과학재단(National Science Foundation) 및 MTRAC와 같은 기관으로부터 약 6만 달러의 보조금을 지원받아 1년 ​​넘게 진행되었습니다. 이 자금을 통해 우리는 적절한 도구와 지식을 갖춘 DFD MVP를 개발할 수 있었으며 이를 사이버 보안에 대한 주요 배경 지식이 없는 회사와 개인이 사용할 수 있는 제품으로 개발하기 위해 노력하고 있습니다.

이 프로젝트와 관련된 학생 연구원은 딥 러닝, Neurosymbolic AI 및 Multimodal AI를 사용하여 디지털 멀티미디어를 인증하는 도구를 개발하는 방법을 배울 수 있는 기회를 얻게 됩니다. 학생들은 또한 안티 포렌식 공격으로부터 탐지기를 보호하는 방법을 배우고 접근 가능한 출력으로 투명하고 설명 가능하도록 AI 기반 탐지기를 설계하는 경험을 쌓게 됩니다. 그들은 학제간 팀에서 일하고 교실 환경에서 직면할 수 있는 것 이상의 문제를 해결할 수 있는 기회를 얻게 될 것입니다.

스마일즈 연구실 여행. 디마스크 로고. 그 아래에는 다음과 같이 왼쪽에서 오른쪽으로 이동하는 타임라인이 있는 상자가 있습니다. Purple, 1018, NSF, 디지털 오디오 포렌식 알고리즘 벤치마킹을 위한 테스트베드, Blue, 2019, NSF, REU Supplement to Forensic Examiner, Grey, 2020, MSGC, NSF, Deepfake 탐지 프레임워크 개발을 향하여, 녹색, 2021, NSF, 법의학 조사관에 대한 REU 보충 자료, 노란색, 2022, MTRAC, Deep Forgery Detector, 빨간색, 2023, NSF, MTRAC, NSF(Explainable and Robust Detector), DFD(MTRAC) ). 이 아래 왼쪽에는 대각선으로 쌓인 네 개의 원이 있습니다. 왼쪽 하단부터 보라색, 지문 및 돋보기, 보고서 생성, 시각적, 텍스트. 빨간색, 기어, 견고성, 앙상블 결정, 다중 모달 검증, 파란색, 회로가 있는 뇌, 설명 가능성, 신경 기호, 해석 가능한 기능, 녹색, 일반화 가능, 상식, 인간 심리학, 다중 모드. 오른쪽 하단에는 다이어그램이 있습니다. SpoTNet: 효과적인 합성 음성 탐지를 위한 스푸핑 인식 변환기 네트워크.
스마일즈 연구실 여행. 디마스크 로고. 그 아래에는 다음과 같이 왼쪽에서 오른쪽으로 이동하는 타임라인이 있는 상자가 있습니다. Purple, 1018, NSF, 디지털 오디오 포렌식 알고리즘 벤치마킹을 위한 테스트베드, Blue, 2019, NSF, REU Supplement to Forensic Examiner, Grey, 2020, MSGC, NSF, Deepfake 탐지 프레임워크 개발을 향하여, 녹색, 2021, NSF, 법의학 조사관에 대한 REU 보충 자료, 노란색, 2022, MTRAC, Deep Forgery Detector, 빨간색, 2023, NSF, MTRAC, NSF(Explainable and Robust Detector), DFD(MTRAC) ). 이 아래 왼쪽에는 대각선으로 쌓인 네 개의 원이 있습니다. 왼쪽 하단부터 보라색, 지문 및 돋보기, 보고서 생성, 시각적, 텍스트. 빨간색, 기어, 견고성, 앙상블 결정, 다중 모달 검증, 파란색, 회로가 있는 뇌, 설명 가능성, 신경 기호, 해석 가능한 기능, 녹색, 일반화 가능, 상식, 인간 심리학, 다중 모드. 오른쪽 하단에는 다이어그램이 있습니다. SpoTNet: 효과적인 합성 음성 탐지를 위한 스푸핑 인식 변환기 네트워크.
스마일즈 연구실 여행. 디마스크 로고. 그 아래에는 다음과 같이 왼쪽에서 오른쪽으로 이동하는 타임라인이 있는 상자가 있습니다. Purple, 1018, NSF, 디지털 오디오 포렌식 알고리즘 벤치마킹을 위한 테스트베드, Blue, 2019, NSF, REU Supplement to Forensic Examiner, Grey, 2020, MSGC, NSF, Deepfake 탐지 프레임워크 개발을 향하여, 녹색, 2021, NSF, 법의학 조사관에 대한 REU 보충 자료, 노란색, 2022, MTRAC, Deep Forgery Detector, 빨간색, 2023, NSF, MTRAC, NSF(Explainable and Robust Detector), DFD(MTRAC) ). 이 아래 왼쪽에는 대각선으로 쌓인 네 개의 원이 있습니다. 왼쪽 하단부터 보라색, 지문 및 돋보기, 보고서 생성, 시각적, 텍스트. 빨간색, 기어, 견고성, 앙상블 결정, 다중 모달 검증, 파란색, 회로가 있는 뇌, 설명 가능성, 신경 기호, 해석 가능한 기능, 녹색, 일반화 가능, 상식, 인간 심리학, 다중 모드. 오른쪽 하단에는 다이어그램이 있습니다. SpoTNet: 효과적인 합성 음성 탐지를 위한 스푸핑 인식 변환기 네트워크.
순서도는 화살표로 말하는 사람의 아이콘에서 음성 신호 아이콘까지 이어집니다. 거기에서 화살표는 데이터 정리 및 음향 신호 처리라는 라벨이 붙은 상자를 가리킵니다. 이 상자에서 프레이밍 및 윈도우잉은 무음 음성 지수로 이어지고, 음성 지수 정규화로 이어지며, 대역 통과 필터링으로 이어지고, 사전 강조로 이어지며, 멜 스펙토그램으로 이어지며, 멜 스펙트로그램 이미지가 이어집니다. 화살표는 상자 오른쪽에 있는 두 개의 스펙트럼 그래프(하나는 Envelops라고 표시되어 있고 다른 하나는 Contrast로 표시되어 있음)로 연결됩니다. 그래프 오른쪽에 있는 괄호는 지식 기반 표현이 Envelops에서 S 데이터 포인트를 가져오고 Contrast에서 P 데이터 포인트를 가져와 SP 데이터 세트를 생성한다는 것을 나타냅니다. 화살표는 SP 매트릭스가 1개의 Conv를 통과하는 LSTE(Logical Spoofing Transformer Encoder)라는 상자로 연결됩니다. BN은 토큰 인코딩으로 필터링하고 토큰 Tk 5-n으로 라벨을 붙인 다음 화살표는 Transformer Encoder를 가리키고 또 다른 화살표는 Attentive Audio Representation으로 연결됩니다. 이 상자에서 화살표는 스푸핑 다층 분류라는 레이블이 붙은 다이어그램을 가리킵니다. 이 다이어그램은 Dense, BN 및 DO라는 세 가지 레이어를 통해 흐르는 데이터를 보여줍니다. DO는 .128로 표시되며 Dense는 64, 첫 번째 패스에서는 relu, 두 번째 패스에서는 32, 세 번째 패스에서는 1입니다. 이 세 가지 중에서 화살표는 AE 데이터 128-n이 포함된 Flatten이라는 상자를 가리킵니다. 그러면 Relu가 5인 Dense 상자 하나, .1인 DO 상자 하나, Sigmoid가 XNUMX인 최종 Dense 상자 하나가 생성됩니다. 화살표는 음성 검증 출력(실제 또는 스푸핑)으로 연결됩니다.
순서도는 화살표로 말하는 사람의 아이콘에서 음성 신호 아이콘까지 이어집니다. 거기에서 화살표는 데이터 정리 및 음향 신호 처리라는 라벨이 붙은 상자를 가리킵니다. 이 상자에서 프레이밍 및 윈도우잉은 무음 음성 지수로 이어지고, 음성 지수 정규화로 이어지며, 대역 통과 필터링으로 이어지고, 사전 강조로 이어지며, 멜 스펙토그램으로 이어지며, 멜 스펙트로그램 이미지가 이어집니다. 화살표는 상자 오른쪽에 있는 두 개의 스펙트럼 그래프(하나는 Envelops라고 표시되어 있고 다른 하나는 Contrast로 표시되어 있음)로 연결됩니다. 그래프 오른쪽에 있는 괄호는 지식 기반 표현이 Envelops에서 S 데이터 포인트를 가져오고 Contrast에서 P 데이터 포인트를 가져와 SP 데이터 세트를 생성한다는 것을 나타냅니다. 화살표는 SP 매트릭스가 1개의 Conv를 통과하는 LSTE(Logical Spoofing Transformer Encoder)라는 상자로 연결됩니다. BN은 토큰 인코딩으로 필터링하고 토큰 Tk 5-n으로 라벨을 붙인 다음 화살표는 Transformer Encoder를 가리키고 또 다른 화살표는 Attentive Audio Representation으로 연결됩니다. 이 상자에서 화살표는 스푸핑 다층 분류라는 레이블이 붙은 다이어그램을 가리킵니다. 이 다이어그램은 Dense, BN 및 DO라는 세 가지 레이어를 통해 흐르는 데이터를 보여줍니다. DO는 .128로 표시되며 Dense는 64, 첫 번째 패스에서는 relu, 두 번째 패스에서는 32, 세 번째 패스에서는 1입니다. 이 세 가지 중에서 화살표는 AE 데이터 128-n이 포함된 Flatten이라는 상자를 가리킵니다. 그러면 Relu가 5인 Dense 상자 하나, .1인 DO 상자 하나, Sigmoid가 XNUMX인 최종 Dense 상자 하나가 생성됩니다. 화살표는 음성 검증 출력(실제 또는 스푸핑)으로 연결됩니다.
순서도는 화살표로 말하는 사람의 아이콘에서 음성 신호 아이콘까지 이어집니다. 거기에서 화살표는 데이터 정리 및 음향 신호 처리라는 라벨이 붙은 상자를 가리킵니다. 이 상자에서 프레이밍 및 윈도우잉은 무음 음성 지수로 이어지고, 음성 지수 정규화로 이어지며, 대역 통과 필터링으로 이어지고, 사전 강조로 이어지며, 멜 스펙토그램으로 이어지며, 멜 스펙트로그램 이미지가 이어집니다. 화살표는 상자 오른쪽에 있는 두 개의 스펙트럼 그래프(하나는 Envelops라고 표시되어 있고 다른 하나는 Contrast로 표시되어 있음)로 연결됩니다. 그래프 오른쪽에 있는 괄호는 지식 기반 표현이 Envelops에서 S 데이터 포인트를 가져오고 Contrast에서 P 데이터 포인트를 가져와 SP 데이터 세트를 생성한다는 것을 나타냅니다. 화살표는 SP 매트릭스가 1개의 Conv를 통과하는 LSTE(Logical Spoofing Transformer Encoder)라는 상자로 연결됩니다. BN은 토큰 인코딩으로 필터링하고 토큰 Tk 5-n으로 라벨을 붙인 다음 화살표는 Transformer Encoder를 가리키고 또 다른 화살표는 Attentive Audio Representation으로 연결됩니다. 이 상자에서 화살표는 스푸핑 다층 분류라는 레이블이 붙은 다이어그램을 가리킵니다. 이 다이어그램은 Dense, BN 및 DO라는 세 가지 레이어를 통해 흐르는 데이터를 보여줍니다. DO는 .128로 표시되며 Dense는 64, 첫 번째 패스에서는 relu, 두 번째 패스에서는 32, 세 번째 패스에서는 1입니다. 이 세 가지 중에서 화살표는 AE 데이터 128-n이 포함된 Flatten이라는 상자를 가리킵니다. 그러면 Relu가 5인 Dense 상자 하나, .1인 DO 상자 하나, Sigmoid가 XNUMX인 최종 Dense 상자 하나가 생성됩니다. 화살표는 음성 검증 출력(실제 또는 스푸핑)으로 연결됩니다.

혁신을 위한 NSF 파트너십(NSF-PFI) 및 MTRAC 자금 지원 프로젝트는 NSF 계보 상 # 1815724: SaTC: CORE: ForensicExaminer: 디지털 오디오 포렌식 알고리즘 및 MTRAC 프로젝트 벤치마킹을 위한 테스트베드를 기반으로 구축된 DFD(Deep Forgery Detector) 기술을 더욱 개선하려고 합니다. "심층 위조 탐지기"라는 제목으로. DFD는 디지털 멀티미디어 조작에 사용되는 다양한 유형의 Deepfake를 포함하여 시청각 위조를 탐지하지만 새로운 유형이 지속적으로 등장하고 있습니다. DFD MVP의 개선을 통해 안티포렌식에 대해 더욱 강력해지고 접근성과 설명이 더욱 쉬워졌습니다.

자세한 내용은 다음을 참조하십시오.

NeuroAssist: 뇌동맥류 파열 예측을 위한 지능적이고 안전한 의사결정 지원 시스템

자금 지원 뇌동맥류 재단

뇌혈관 사고, 즉 뇌졸중은 전 세계적으로 장애의 주요 원인이자 사망 원인의 두 번째 원인입니다. 또한 뇌졸중은 모든 미국인의 사망 원인 15위이자 심각한 장기 장애의 주요 원인입니다. 매년 전 세계적으로 5만 명이 뇌졸중을 앓고 있으며, 이 중 5만 명이 사망하고 XNUMX만 명이 영구적인 장애를 갖게 됩니다.

왼쪽과 오른쪽으로 원을 그리세요. 오른쪽 상단에 스마일 로고가 있습니다. 제목: 지주막하 출혈 예측: 의료 분야의 문제 및 충족되지 않은 요구 왼쪽 원은 의학 분야에서 AI의 과제라고 말하고 심장 아이콘이 있습니다. 5개의 거품이 나옵니다. 보라색, 제한된 성능 및 높은 교육 비용 파란색, Human in Loop 방법에 대한 수요 주황색, 데이터 개인 정보 보호 및 무결성 녹색, 다중 모드 표현 학습에 대한 수요 빨간색, 데이터 부족, 소규모 데이터 세트 및 Non-IID 오른쪽은 충족되지 않은 요구 사항이 중심에 있는 동심원을 가집니다. . 외부 원, 녹색, 1. 다중 모달 및 대규모 훈련 샘플 부족 현재 데이터 세트 부족으로 인해 효과적으로 일반화하는 AI 모델의 기능이 제한되고 성능이 저하됩니다. Dark Blue, 2, 개인 정보 보호 분산형 솔루션 기존 과제는 민감한 건강 데이터의 기밀성을 유지하는 분산형 솔루션에 대한 필요성과 관련되어 있습니다. 노란색, 3. 설명 가능성 부족 및 루프 AI의 인간 AI와 도메인 전문가 간의 지식 격차는 설명 가능한 예측으로 채워져야 합니다. Red, 4. 학제간 접근 방식의 부족 복잡한 심장/신경 혈관 문제를 해결하려면 여러 분야의 전문 지식을 종합해야 합니다.
왼쪽과 오른쪽으로 원을 그리세요. 오른쪽 상단에 스마일 로고가 있습니다. 제목: 지주막하 출혈 예측: 의료 분야의 문제 및 충족되지 않은 요구 왼쪽 원은 의학 분야에서 AI의 과제라고 말하고 심장 아이콘이 있습니다. 5개의 거품이 나옵니다. 보라색, 제한된 성능 및 높은 교육 비용 파란색, Human in Loop 방법에 대한 수요 주황색, 데이터 개인 정보 보호 및 무결성 녹색, 다중 모드 표현 학습에 대한 수요 빨간색, 데이터 부족, 소규모 데이터 세트 및 Non-IID 오른쪽은 충족되지 않은 요구 사항이 중심에 있는 동심원을 가집니다. . 외부 원, 녹색, 1. 다중 모달 및 대규모 훈련 샘플 부족 현재 데이터 세트 부족으로 인해 효과적으로 일반화하는 AI 모델의 기능이 제한되고 성능이 저하됩니다. Dark Blue, 2, 개인 정보 보호 분산형 솔루션 기존 과제는 민감한 건강 데이터의 기밀성을 유지하는 분산형 솔루션에 대한 필요성과 관련되어 있습니다. 노란색, 3. 설명 가능성 부족 및 루프 AI의 인간 AI와 도메인 전문가 간의 지식 격차는 설명 가능한 예측으로 채워져야 합니다. Red, 4. 학제간 접근 방식의 부족 복잡한 심장/신경 혈관 문제를 해결하려면 여러 분야의 전문 지식을 종합해야 합니다.
왼쪽과 오른쪽으로 원을 그리세요. 오른쪽 상단에 스마일 로고가 있습니다. 제목: 지주막하 출혈 예측: 의료 분야의 문제 및 충족되지 않은 요구 왼쪽 원은 의학 분야에서 AI의 과제라고 말하고 심장 아이콘이 있습니다. 5개의 거품이 나옵니다. 보라색, 제한된 성능 및 높은 교육 비용 파란색, Human in Loop 방법에 대한 수요 주황색, 데이터 개인 정보 보호 및 무결성 녹색, 다중 모드 표현 학습에 대한 수요 빨간색, 데이터 부족, 소규모 데이터 세트 및 Non-IID 오른쪽은 충족되지 않은 요구 사항이 중심에 있는 동심원을 가집니다. . 외부 원, 녹색, 1. 다중 모달 및 대규모 훈련 샘플 부족 현재 데이터 세트 부족으로 인해 효과적으로 일반화하는 AI 모델의 기능이 제한되고 성능이 저하됩니다. Dark Blue, 2, 개인 정보 보호 분산형 솔루션 기존 과제는 민감한 건강 데이터의 기밀성을 유지하는 분산형 솔루션에 대한 필요성과 관련되어 있습니다. 노란색, 3. 설명 가능성 부족 및 루프 AI의 인간 AI와 도메인 전문가 간의 지식 격차는 설명 가능한 예측으로 채워져야 합니다. Red, 4. 학제간 접근 방식의 부족 복잡한 심장/신경 혈관 문제를 해결하려면 여러 분야의 전문 지식을 종합해야 합니다.

이러한 사망과 장애를 예방하기 위해서는 신경과 전문의와 신경외과 의사가 조기에 근본 원인을 진단하고 임상 관리를 개선할 수 있어야 합니다. 또한 뇌동맥류, 동정맥 기형(AVM), 뇌폐쇄성 질환(COD) 등 여러 복잡한 고려 사항을 통해 개인의 전반적인 위험을 판단해야 합니다.

뇌졸중을 유발하는 질병의 임상적 관리는 매우 복잡합니다. 복잡성을 설명하기 위해 파열되지 않은 두개내 동맥류라는 요소를 그 자체로 살펴보겠습니다. 파열의 위험은 동맥류의 크기에 의해서만 결정되는 것이 아니기 때문에 이를 치료하는 것은 복잡한 의사 결정 과정입니다. 위치/동맥은 매우 중요합니다. 특정 동맥의 작은 동맥류는 파열될 수 있지만 다른 동맥의 큰 동맥류는 파열되지 않을 수 있습니다.

동맥류 자체의 고립된 사례 외에도 다양한 정도의 동정맥 기형과 경동맥 내부의 플라크 축적이 전체 뇌졸중 위험에 다른 위험 요소를 추가할 수 있습니다. 우리의 현재 평가로는 이러한 복잡성을 충족하기에 충분하지 않습니다.

적절한 데이터가 부족하면 '미안한 것보다 안전한 것이 낫다'고 적절하게 설명할 수 있는 의사 결정 프로세스로 이어지는 경우가 많습니다. 외과적 개입이 뇌졸중 위험을 제거하는 성공적인 방법이라는 것은 확실히 사실입니다. 그러나 이러한 수술은 침습적이며 심각한 의원성 합병증이나 신경학적 결손을 초래할 수 있으므로 모든 동맥류/AVM/COD를 치료하는 것이 항상 위험을 감수할 가치가 있는 것은 아닙니다.

다이어그램. 제목은 위치별 대. 글로벌 모델 다이어그램에는 세 개의 섹션이 있습니다. 왼쪽에는 데이터 세트에서 Under Sampling을 거쳐 50개의 위치 특정 글로벌 훈련 모델을 거쳐 20개의 규칙 세트로 이어지는 5개의 영역이 있습니다. 중간 섹션은 동일한 데이터 세트로 시작하지만 Apriori 알고리즘(XNUMX% 신뢰도 및 XNUMX% 지지도)을 통해서만 필터링하고 XNUMX개의 규칙 세트로 이어집니다. 세 번째 부분에서는 누적 데이터 및 규칙 세트가 어떻게 프로젝트의 XNUMX년 모델링 경험과 결합되고 도메인 전문가의 가중치 최적화를 크게 개선된 하나의 규칙 세트로 줄이는지 보여줍니다.
다이어그램. 제목은 위치별 대. 글로벌 모델 다이어그램에는 세 개의 섹션이 있습니다. 왼쪽에는 데이터 세트에서 Under Sampling을 거쳐 50개의 위치 특정 글로벌 훈련 모델을 거쳐 20개의 규칙 세트로 이어지는 5개의 영역이 있습니다. 중간 섹션은 동일한 데이터 세트로 시작하지만 Apriori 알고리즘(XNUMX% 신뢰도 및 XNUMX% 지지도)을 통해서만 필터링하고 XNUMX개의 규칙 세트로 이어집니다. 세 번째 부분에서는 누적 데이터 및 규칙 세트가 어떻게 프로젝트의 XNUMX년 모델링 경험과 결합되고 도메인 전문가의 가중치 최적화를 크게 개선된 하나의 규칙 세트로 줄이는지 보여줍니다.
다이어그램. 제목은 위치별 대. 글로벌 모델 다이어그램에는 세 개의 섹션이 있습니다. 왼쪽에는 데이터 세트에서 Under Sampling을 거쳐 50개의 위치 특정 글로벌 훈련 모델을 거쳐 20개의 규칙 세트로 이어지는 5개의 영역이 있습니다. 중간 섹션은 동일한 데이터 세트로 시작하지만 Apriori 알고리즘(XNUMX% 신뢰도 및 XNUMX% 지지도)을 통해서만 필터링하고 XNUMX개의 규칙 세트로 이어집니다. 세 번째 부분에서는 누적 데이터 및 규칙 세트가 어떻게 프로젝트의 XNUMX년 모델링 경험과 결합되고 도메인 전문가의 가중치 최적화를 크게 개선된 하나의 규칙 세트로 줄이는지 보여줍니다.

반면, 요인을 결합하여 개입을 지연하면 뇌졸중 위험이 증가하고 결과적으로 사망이나 영구 장애가 발생할 수 있습니다. 전반적인 위험도가 높을 경우에는 즉시 올바른 치료를 시행하는 것이 필수적입니다.

신뢰할 수 있는 임상 위험/심각도 점수가 없으면 신경외과 의사는 신뢰할 수 없는 데이터와 이전 경험을 바탕으로 수집한 경험적 방법에 의존해야 합니다.

551개의 다이어그램. 제목 오른쪽 상단에 동맥류 감지 및 분할을 위한 지식 주입 모델 SMILES 로고가 표시되어 있습니다. 왼쪽 위 전처리에는 동맥류 이미지의 다양한 비교가 있습니다. 화살표는 Knowledge Infused DNN과 오른쪽 상단의 Knowledge Extraction으로 연결됩니다. 해당 상자에는 모델에 대한 의료 전문가 교육과 ROI 추출 및 분류에 대한 피드백이 표시됩니다. 이 부분은 오른쪽 하단 상자로 이어지며 주입 수준 선택 및 등가 기능 맵 계산에 공급됩니다. 여기에는 일부 블랙박스 그림과 적응형 가중치 활용, 적응형 레이어 주입 섹션 및 수준별 심층 기능 추출이 있습니다. 이는 왼쪽 하단의 Knowledge Infused DNN 섹션으로 돌아가서 감지 출력 및 세분화 출력으로 이어집니다. 하단에는 "DeepInfusion: 두개내 동맥류 분할을 위한 동적 주입 기반 신경 기호 AI 모델"이라고 적혀 있습니다. 신경컴퓨팅 2023(126510): XNUMX.
551개의 다이어그램. 제목 오른쪽 상단에 동맥류 감지 및 분할을 위한 지식 주입 모델 SMILES 로고가 표시되어 있습니다. 왼쪽 위 전처리에는 동맥류 이미지의 다양한 비교가 있습니다. 화살표는 Knowledge Infused DNN과 오른쪽 상단의 Knowledge Extraction으로 연결됩니다. 해당 상자에는 모델에 대한 의료 전문가 교육과 ROI 추출 및 분류에 대한 피드백이 표시됩니다. 이 부분은 오른쪽 하단 상자로 이어지며 주입 수준 선택 및 등가 기능 맵 계산에 공급됩니다. 여기에는 일부 블랙박스 그림과 적응형 가중치 활용, 적응형 레이어 주입 섹션 및 수준별 심층 기능 추출이 있습니다. 이는 왼쪽 하단의 Knowledge Infused DNN 섹션으로 돌아가서 감지 출력 및 세분화 출력으로 이어집니다. 하단에는 "DeepInfusion: 두개내 동맥류 분할을 위한 동적 주입 기반 신경 기호 AI 모델"이라고 적혀 있습니다. 신경컴퓨팅 2023(126510): XNUMX.
551개의 다이어그램. 제목 오른쪽 상단에 동맥류 감지 및 분할을 위한 지식 주입 모델 SMILES 로고가 표시되어 있습니다. 왼쪽 위 전처리에는 동맥류 이미지의 다양한 비교가 있습니다. 화살표는 Knowledge Infused DNN과 오른쪽 상단의 Knowledge Extraction으로 연결됩니다. 해당 상자에는 모델에 대한 의료 전문가 교육과 ROI 추출 및 분류에 대한 피드백이 표시됩니다. 이 부분은 오른쪽 하단 상자로 이어지며 주입 수준 선택 및 등가 기능 맵 계산에 공급됩니다. 여기에는 일부 블랙박스 그림과 적응형 가중치 활용, 적응형 레이어 주입 섹션 및 수준별 심층 기능 추출이 있습니다. 이는 왼쪽 하단의 Knowledge Infused DNN 섹션으로 돌아가서 감지 출력 및 세분화 출력으로 이어집니다. 하단에는 "DeepInfusion: 두개내 동맥류 분할을 위한 동적 주입 기반 신경 기호 AI 모델"이라고 적혀 있습니다. 신경컴퓨팅 2023(126510): XNUMX.

이 두 극단 사이에는 조치가 아니라 시간에 따른 위험 모니터링이 필요한 경우가 많습니다. 의사들은 언제 치료하고 언제 지켜봐야 할지 결정하는 데 어려움을 겪고 있으며, 그렇지 않기 때문에 매년 수천 건의 불필요한 시술이 수행됩니다. 확신하는. 유사한 환자의 위험 요인 그룹을 기반으로 전반적인 뇌졸중 위험을 정량화하면 신경외과 의사가 중요한 결정을 훨씬 쉽게 내리는 데 도움이 될 수 있습니다.

이는 도구가 임상의가 개별 상황을 설명하는 데 사용할 수 있는 신뢰할 수 있는 도구여야 함을 의미합니다. 환자와 가족은 최악의 결과를 상상하고 있습니다. 그들은 엄청난 뇌졸중과 치료비에 대한 재정적 부담을 걱정하고 있습니다. 기다리고 관찰하는 것이 왜 최선의 선택인지 명확하게 설명할 수 있는 것은 해당 가족들에게 큰 이점이 될 것입니다.

제목이 StrokeNet인 다이어그램: 두개내 동맥류의 분할 및 파열 예측을 위한 자동화된 접근 방식 오른쪽 상단에 SMILES 로고가 있습니다. 두 상자 중 왼쪽에는 1단계: 동맥류 분할이 표시되어 있습니다. 스캔 이미지와 작은 글씨로 인쇄된 여러 대표 아이콘이 있습니다. 화살표는 상자 2, 108단계: 동맥류 파열 예측으로 연결됩니다. 왼쪽의 2023개 이미지는 깊은 특징, 기하학적 특징, 혈류 패턴 및 푸리에 설명자라는 네 부분으로 이어지며 해당 요인의 가중치를 표시하는 상자로 연결되고 특징 선택, 분류기, 녹색, 약함, 노란색 보통, 분홍색이 나타납니다. 심각하고 빨간색으로 중요합니다. 하단 내용: "StrokeNet: 두개내 동맥류의 분할 및 파열 위험 예측을 위한 자동화된 접근 방식." 컴퓨터화된 의료 영상 및 그래픽 102271(XNUMX): XNUMX.
제목이 StrokeNet인 다이어그램: 두개내 동맥류의 분할 및 파열 예측을 위한 자동화된 접근 방식 오른쪽 상단에 SMILES 로고가 있습니다. 두 상자 중 왼쪽에는 1단계: 동맥류 분할이 표시되어 있습니다. 스캔 이미지와 작은 글씨로 인쇄된 여러 대표 아이콘이 있습니다. 화살표는 상자 2, 108단계: 동맥류 파열 예측으로 연결됩니다. 왼쪽의 2023개 이미지는 깊은 특징, 기하학적 특징, 혈류 패턴 및 푸리에 설명자라는 네 부분으로 이어지며 해당 요인의 가중치를 표시하는 상자로 연결되고 특징 선택, 분류기, 녹색, 약함, 노란색 보통, 분홍색이 나타납니다. 심각하고 빨간색으로 중요합니다. 하단 내용: "StrokeNet: 두개내 동맥류의 분할 및 파열 위험 예측을 위한 자동화된 접근 방식." 컴퓨터화된 의료 영상 및 그래픽 102271(XNUMX): XNUMX.
제목이 StrokeNet인 다이어그램: 두개내 동맥류의 분할 및 파열 예측을 위한 자동화된 접근 방식 오른쪽 상단에 SMILES 로고가 있습니다. 두 상자 중 왼쪽에는 1단계: 동맥류 분할이 표시되어 있습니다. 스캔 이미지와 작은 글씨로 인쇄된 여러 대표 아이콘이 있습니다. 화살표는 상자 2, 108단계: 동맥류 파열 예측으로 연결됩니다. 왼쪽의 2023개 이미지는 깊은 특징, 기하학적 특징, 혈류 패턴 및 푸리에 설명자라는 네 부분으로 이어지며 해당 요인의 가중치를 표시하는 상자로 연결되고 특징 선택, 분류기, 녹색, 약함, 노란색 보통, 분홍색이 나타납니다. 심각하고 빨간색으로 중요합니다. 하단 내용: "StrokeNet: 두개내 동맥류의 분할 및 파열 위험 예측을 위한 자동화된 접근 방식." 컴퓨터화된 의료 영상 및 그래픽 102271(XNUMX): XNUMX.

이러한 요구를 충족하기 위해 우리는 분산되고 설명하기 쉬운 AI 기반 접근 방식을 갖춘 도구를 개발했습니다. 이러한 도구는 임상 텍스트, 연합 학습, RAG 기반 신경 기호 AI, 전산 유체 역학 및 다중 모드 설명 가능 AI와 함께 디지털 감산 혈관 조영술, 자기 공명 혈관 조영술 및 컴퓨터 단층 촬영 혈관 조영술 이미지 양식에 대한 다중 모드 AI를 사용합니다. .

궁극적으로 이 프로젝트는 사망자와 장기적인 장애를 줄이고, 환자와 의료 시스템의 높은 비용을 부담하며, 환자의 심리적 스트레스를 크게 완화하는 도구를 제공할 것입니다. 또한 앞으로 뇌 동맥류에 대한 이해를 높이기 위해 보다 강력한 데이터를 개발하고 다른 연구자들과 공유하는 데 도움이 될 것입니다.

자세한 내용은 다음을 참조하십시오. 뇌 동맥류 재단(Brain Aneurysm Foundation): 연구 보조금 수령자를 만나보세요: Khalid Malik, PhD

신경기호적 AI 기반 웹 필터링

후원 넷스타(주)

스마일스랩 로고

설명 가능한 다중 모드 신경 기호
웹 필터링을 위한 Edge AI 모델

엔지니어링 시스템 연구실의 보안 모델링 및 지능형 학습

웹 필터링 솔루션은 사이버 보안의 핵심 구성 요소입니다. 악성 웹 사이트에 대한 액세스를 차단하고, 악성 코드가 우리 시스템을 감염시키는 것을 방지하고, 중요한 데이터가 조직 외부로 유출되지 않도록 보호합니다. 다양한 부문에 걸쳐 안전하고 효율적이며 통제된 온라인 경험을 제공하여 보안, 생산성 및 콘텐츠 적합성과 관련된 문제를 해결합니다. 데이터 및 지식 공유를 위한 인터넷 사용이 증가하는 추세에 따라 특히 인터넷 경계에서 웹 콘텐츠의 동적 분류가 필요합니다.

제목 표시줄: 문제: 산업 관련성 및 참신함 왼쪽: 수직 NetSTAR 요구 사항이 포함된 목록: 오른쪽으로 확장되는 다음: 1. 동적 콘텐츠에 대한 정확하고 신뢰할 수 있는 다중 모드 AI URL 필터링 개발 2. 다중 모드 표현 학습에 대한 수요 3. 다국어 소규모 데이터 세트 4 .휴먼 인 루프 방식에 대한 요구 5. 데이터 프라이버시 오른쪽: 위쪽부터 왼쪽으로 튀어나온 거품이 있는 SMILES Lab, 1. 다양한 콘텐츠를 위한 신경 기호 AI 2. 다중 모드 학습 3. 지식 주입 4. 다중 언어 표현 학습 5. 연합 학습
제목 표시줄: 문제: 산업 관련성 및 참신함 왼쪽: 수직 NetSTAR 요구 사항이 포함된 목록: 오른쪽으로 확장되는 다음: 1. 동적 콘텐츠에 대한 정확하고 신뢰할 수 있는 다중 모드 AI URL 필터링 개발 2. 다중 모드 표현 학습에 대한 수요 3. 다국어 소규모 데이터 세트 4 .휴먼 인 루프 방식에 대한 요구 5. 데이터 프라이버시 오른쪽: 위쪽부터 왼쪽으로 튀어나온 거품이 있는 SMILES Lab, 1. 다양한 콘텐츠를 위한 신경 기호 AI 2. 다중 모드 학습 3. 지식 주입 4. 다중 언어 표현 학습 5. 연합 학습
제목 표시줄: 문제: 산업 관련성 및 참신함 왼쪽: 수직 NetSTAR 요구 사항이 포함된 목록: 오른쪽으로 확장되는 다음: 1. 동적 콘텐츠에 대한 정확하고 신뢰할 수 있는 다중 모드 AI URL 필터링 개발 2. 다중 모드 표현 학습에 대한 수요 3. 다국어 소규모 데이터 세트 4 .휴먼 인 루프 방식에 대한 요구 5. 데이터 프라이버시 오른쪽: 위쪽부터 왼쪽으로 튀어나온 거품이 있는 SMILES Lab, 1. 다양한 콘텐츠를 위한 신경 기호 AI 2. 다중 모드 학습 3. 지식 주입 4. 다중 언어 표현 학습 5. 연합 학습

오늘날 기업에서는 다국어 기능을 갖추고 직원의 데이터 개인 정보를 보호하기 위해 이러한 솔루션이 필요합니다. 이러한 문제를 해결하려면 URL을 올바른 클래스로 효과적으로 분류할 수 있는 안정적인 솔루션이 필요합니다.

이러한 요구 사항을 충족하기 위해 UM-Flint는 일본의 선도적인 URL 필터링 회사인 Netstar Inc.와 제휴하여 기계 학습 기반 솔루션을 개발했습니다. 팀은 SMILES(Secure Modeling and Intelligent Learning in Engineering System) 연구실의 여러 박사 및 박사후 과정 학생과 Netstar 직원으로 구성됩니다.

이 프로젝트에 참여하는 학생들은 자연어 처리, 다국어 콘텐츠 처리 및 지식 그래프 개발의 고급 기술을 배우게 됩니다. 그들은 설명 가능하고 추론을 제공하는 신경 기호 및 다중 모드 AI에 대한 경험을 얻게 될 것입니다. 또한 글로벌 기업과의 협업에 필요한 다양한 소프트 스킬을 습득할 수 있는 기회도 갖게 됩니다.

자동화된 신경 지식 그래프 큐레이션

Neurosymbolic AI 시스템을 개발하려면 도메인의 모든 엔터티와 도메인 간의 관계를 나타내는 지식 그래프가 있어야 합니다.

최근 몇 년간 지식 그래프(KG)의 급속한 성장은 지식 공학의 부활을 의미합니다. 신경기호 모델과 전문가 기반 시스템이 사용할 수 있는 유용한 정보를 추출하기 위해 출판된 문헌에서 KG를 사용하는 것은 데이터 소비 문제에 대한 가장 유망한 접근법 중 하나입니다. 그리고 머신러닝, 딥러닝 등 AI 기술에 대해 더 많은 설명을 제공합니다.

오늘날 대부분의 기업은 데이터가 가장 귀중한 자산이라는 것을 인식하고 있지만 데이터는 다양한 형태와 형식으로 제공될 수 있습니다. 해당 데이터를 ML 및 AI 도구에 사용할 수 있도록 만드는 것은 어렵습니다. 현재 지식 그래프 생성 및 큐레이션은 대부분 수동이거나 다소 반자동화되어 노동 집약적인 프로세스입니다. 대부분의 경우 이 수동 프로세스로 인해 높은 수준의 전문 지식을 갖춘 사람은 수행할 수 있는 핵심 제품이나 과학 작업에 시간을 투자하지 않게 됩니다.

방대한 비정형 데이터에서 지식 그래프를 자동으로 큐레이션하면 기계가 읽을 수 있는 실행 가능한 정보를 추출할 수 있으며 잠재적으로 빅 데이터에서 지식 검색에 도움이 될 수 있습니다. 실행 가능한 정보를 얻으려면 해당 도메인의 엔터티 간의 출처와 의미, 관계를 식별하는 것이 필요합니다.

더욱이, 특히 대규모의 정형 및 비정형 소스로부터 신뢰할 수 있고 일관된 지식을 자동으로 추출하는 것은 만만치 않은 과제입니다. 건강 지식 그래프의 자동화된 구축에 대한 시도는 거의 이루어지지 않았습니다. 시도된 것들은 오직 한 가지 유형의 관계만 가짐으로써 세 쌍둥이를 만드는 데 초점을 맞추었습니다.

제목: 자동화된 지식 그래프 큐레이션 프레임워크 개념 보기 왼쪽에 3개의 거품이 있고 각각 오른쪽을 가리키는 화살표가 있으며 내부에 3개의 상호 연결된 거품이 있는 큰 거품으로 이어집니다. 왼쪽부터: 파란색. 문서 아이콘입니다. 텍스트 전처리, 토큰화, 정규화, 청록색 태그 지정, 클러스터 아이콘, 분류, 클러스터링. 녹색-파란색, 가계도 아이콘, 분류, PICO. 지식 모델링이라는 라벨이 붙은 크고 연한 녹색 원입니다. 녹색 원 3개. 왼쪽 상단, 체크리스트 아이콘, 개념 추출, OBIE. 오른쪽 상단 화살표, 클러스터 아이콘, 관계 추출, BioBERT, CNN-BiLSTM. 세 번째 원으로 내려가는 화살표, KG 세대, 삼중 추출 왼쪽 하단에는 약어 범례가 있습니다: PICO - 환자/인구, 중재, 비교 및 ​​결과. OBIE - 온톨로지 기반 정보 추출, BioBERT - 생물의학 BERT
제목: 자동화된 지식 그래프 큐레이션 프레임워크 개념 보기 왼쪽에 3개의 거품이 있고 각각 오른쪽을 가리키는 화살표가 있으며 내부에 3개의 상호 연결된 거품이 있는 큰 거품으로 이어집니다. 왼쪽부터: 파란색. 문서 아이콘입니다. 텍스트 전처리, 토큰화, 정규화, 청록색 태그 지정, 클러스터 아이콘, 분류, 클러스터링. 녹색-파란색, 가계도 아이콘, 분류, PICO. 지식 모델링이라는 라벨이 붙은 크고 연한 녹색 원입니다. 녹색 원 3개. 왼쪽 상단, 체크리스트 아이콘, 개념 추출, OBIE. 오른쪽 상단 화살표, 클러스터 아이콘, 관계 추출, BioBERT, CNN-BiLSTM. 세 번째 원으로 내려가는 화살표, KG 세대, 삼중 추출 왼쪽 하단에는 약어 범례가 있습니다: PICO - 환자/인구, 중재, 비교 및 ​​결과. OBIE - 온톨로지 기반 정보 추출, BioBERT - 생물의학 BERT
제목: 자동화된 지식 그래프 큐레이션 프레임워크 개념 보기 왼쪽에 3개의 거품이 있고 각각 오른쪽을 가리키는 화살표가 있으며 내부에 3개의 상호 연결된 거품이 있는 큰 거품으로 이어집니다. 왼쪽부터: 파란색. 문서 아이콘입니다. 텍스트 전처리, 토큰화, 정규화, 청록색 태그 지정, 클러스터 아이콘, 분류, 클러스터링. 녹색-파란색, 가계도 아이콘, 분류, PICO. 지식 모델링이라는 라벨이 붙은 크고 연한 녹색 원입니다. 녹색 원 3개. 왼쪽 상단, 체크리스트 아이콘, 개념 추출, OBIE. 오른쪽 상단 화살표, 클러스터 아이콘, 관계 추출, BioBERT, CNN-BiLSTM. 세 번째 원으로 내려가는 화살표, KG 세대, 삼중 추출 왼쪽 하단에는 약어 범례가 있습니다: PICO - 환자/인구, 중재, 비교 및 ​​결과. OBIE - 온톨로지 기반 정보 추출, BioBERT - 생물의학 BERT
자동화된 지식 그래프 큐레이션 프레임워크. 기능 보기 아래에는 다음 목록이 있습니다. 데이터 전처리 클러스터링 - 신경 기호 PICO 분류 관계 추출기 지식 그래프 생성기 오른쪽에는 상단에 4개의 상자, 하단에 1개의 상자가 있는 복잡한 다이어그램이 있습니다. 상단 왼쪽부터 데이터 전처리에는 데이터 세트, 문장 감지, 토큰화, 정리 및 Lematization을 포함한 텍스트 전처리 버블이 포함됩니다. 훈련 데이터 생성, 클러스터 모델 및 지식 주입이라는 레이블이 붙은 트리 수직 상자가 있는 상자 2인 신경 기호 클러스터링으로 이어집니다. 이들 각각에는 섹션 3의 4개 상자를 가리키는 화살표의 일부로 뉴스 페이지 아이콘이 있습니다(클러스터 모델에는 2개가 나옵니다). 상자 3은 PICO 분류기로 표시되어 있으며 내부의 4개 상자 각각은 각 클러스터가 P를 통해 공급된다는 것을 보여줍니다. I, C, O 분류 프로세스. 이 네 개의 상자에는 일부 분류 기호가 포함된 하나의 큰 서버 아이콘으로 수렴되는 화살표가 있습니다. 해당 서버 아이콘은 관계 추출기라고 표시된 상자 4의 세 요소 중 하나이며 다른 두 요소 각각을 가리킵니다. 하나는 세금입니다. RE에는 의미 그룹에 대한 개념 매핑, 의미 그룹 식별, 관계 추출 부분이 포함되어 있습니다. 네 번째 상자의 마지막 요소는 비과세입니다. RE는 동일한 클러스터를 가져와서 쌍 생성, 쌍 관계 감지, 쌍 관계 식별을 통해 유도합니다. 상자 4의 마지막 부분은 오른쪽 아래에서 왼쪽으로 이어지는 4개의 상자가 있는 이미지의 아래쪽 부분으로 내려가는 화살표로 수렴됩니다. 첫 번째는 삼중 추출로 표시되어 있으며 세금을 포함합니다. RE 트리플, 개념-클러스터-개념, 개념-주제-개념, 개념-PICO-개념 및 개념-관계-개념. 화살표는 왼쪽으로 초기 KG 생성이라는 제목의 클러스터 관계 이미지로 연결됩니다. 화살표는 개념과 관계 항목 사이에 추가 화살표가 있는 KG 완료로 연결됩니다. 이는 요소 사이에 더 적은 화살표가 있는 모호성 제거라는 라벨이 붙은 최종 이미지로 연결됩니다. 이 하단 상자의 제목은 KG Fusion입니다.
자동화된 지식 그래프 큐레이션 프레임워크. 기능 보기 아래에는 다음 목록이 있습니다. 데이터 전처리 클러스터링 - 신경 기호 PICO 분류 관계 추출기 지식 그래프 생성기 오른쪽에는 상단에 4개의 상자, 하단에 1개의 상자가 있는 복잡한 다이어그램이 있습니다. 상단 왼쪽부터 데이터 전처리에는 데이터 세트, 문장 감지, 토큰화, 정리 및 Lematization을 포함한 텍스트 전처리 버블이 포함됩니다. 훈련 데이터 생성, 클러스터 모델 및 지식 주입이라는 레이블이 붙은 트리 수직 상자가 있는 상자 2인 신경 기호 클러스터링으로 이어집니다. 이들 각각에는 섹션 3의 4개 상자를 가리키는 화살표의 일부로 뉴스 페이지 아이콘이 있습니다(클러스터 모델에는 2개가 나옵니다). 상자 3은 PICO 분류기로 표시되어 있으며 내부의 4개 상자 각각은 각 클러스터가 P를 통해 공급된다는 것을 보여줍니다. I, C, O 분류 프로세스. 이 네 개의 상자에는 일부 분류 기호가 포함된 하나의 큰 서버 아이콘으로 수렴되는 화살표가 있습니다. 해당 서버 아이콘은 관계 추출기라고 표시된 상자 4의 세 요소 중 하나이며 다른 두 요소 각각을 가리킵니다. 하나는 세금입니다. RE에는 의미 그룹에 대한 개념 매핑, 의미 그룹 식별, 관계 추출 부분이 포함되어 있습니다. 네 번째 상자의 마지막 요소는 비과세입니다. RE는 동일한 클러스터를 가져와서 쌍 생성, 쌍 관계 감지, 쌍 관계 식별을 통해 유도합니다. 상자 4의 마지막 부분은 오른쪽 아래에서 왼쪽으로 이어지는 4개의 상자가 있는 이미지의 아래쪽 부분으로 내려가는 화살표로 수렴됩니다. 첫 번째는 삼중 추출로 표시되어 있으며 세금을 포함합니다. RE 트리플, 개념-클러스터-개념, 개념-주제-개념, 개념-PICO-개념 및 개념-관계-개념. 화살표는 왼쪽으로 초기 KG 생성이라는 제목의 클러스터 관계 이미지로 연결됩니다. 화살표는 개념과 관계 항목 사이에 추가 화살표가 있는 KG 완료로 연결됩니다. 이는 요소 사이에 더 적은 화살표가 있는 모호성 제거라는 라벨이 붙은 최종 이미지로 연결됩니다. 이 하단 상자의 제목은 KG Fusion입니다.
자동화된 지식 그래프 큐레이션 프레임워크. 기능 보기 아래에는 다음 목록이 있습니다. 데이터 전처리 클러스터링 - 신경 기호 PICO 분류 관계 추출기 지식 그래프 생성기 오른쪽에는 상단에 4개의 상자, 하단에 1개의 상자가 있는 복잡한 다이어그램이 있습니다. 상단 왼쪽부터 데이터 전처리에는 데이터 세트, 문장 감지, 토큰화, 정리 및 Lematization을 포함한 텍스트 전처리 버블이 포함됩니다. 훈련 데이터 생성, 클러스터 모델 및 지식 주입이라는 레이블이 붙은 트리 수직 상자가 있는 상자 2인 신경 기호 클러스터링으로 이어집니다. 이들 각각에는 섹션 3의 4개 상자를 가리키는 화살표의 일부로 뉴스 페이지 아이콘이 있습니다(클러스터 모델에는 2개가 나옵니다). 상자 3은 PICO 분류기로 표시되어 있으며 내부의 4개 상자 각각은 각 클러스터가 P를 통해 공급된다는 것을 보여줍니다. I, C, O 분류 프로세스. 이 네 개의 상자에는 일부 분류 기호가 포함된 하나의 큰 서버 아이콘으로 수렴되는 화살표가 있습니다. 해당 서버 아이콘은 관계 추출기라고 표시된 상자 4의 세 요소 중 하나이며 다른 두 요소 각각을 가리킵니다. 하나는 세금입니다. RE에는 의미 그룹에 대한 개념 매핑, 의미 그룹 식별, 관계 추출 부분이 포함되어 있습니다. 네 번째 상자의 마지막 요소는 비과세입니다. RE는 동일한 클러스터를 가져와서 쌍 생성, 쌍 관계 감지, 쌍 관계 식별을 통해 유도합니다. 상자 4의 마지막 부분은 오른쪽 아래에서 왼쪽으로 이어지는 4개의 상자가 있는 이미지의 아래쪽 부분으로 내려가는 화살표로 수렴됩니다. 첫 번째는 삼중 추출로 표시되어 있으며 세금을 포함합니다. RE 트리플, 개념-클러스터-개념, 개념-주제-개념, 개념-PICO-개념 및 개념-관계-개념. 화살표는 왼쪽으로 초기 KG 생성이라는 제목의 클러스터 관계 이미지로 연결됩니다. 화살표는 개념과 관계 항목 사이에 추가 화살표가 있는 KG 완료로 연결됩니다. 이는 요소 사이에 더 적은 화살표가 있는 모호성 제거라는 라벨이 붙은 최종 이미지로 연결됩니다. 이 하단 상자의 제목은 KG Fusion입니다.

기존 모델은 지식 그래프의 도메인 개념 간의 의미론적, 상관 관계 및 인과 관계를 고려하지 않습니다. 기존 접근 방식 중 어느 것도 추출된 개념 간의 계층적 관계를 구축하는 데 중점을 두지 않았습니다. 또한, 단어 임베딩이나 온톨로지 기반 정보 추출을 이용한 개념 추출은 신뢰성 있는 정확도를 제공하지 못하며, 이는 관계 추출의 정확도에도 영향을 미칩니다. 마지막으로, 진정한 공생적 인간-기계, 기계-기계 상호작용을 가능하게 하기 위해 기계와 인간 모두가 해석할 수 있어야 하는 예측 지식을 개발하려는 노력이 이루어지지 않았습니다.

본 프로젝트는 정형 및 비정형 데이터를 활용하여 자동화된 도메인별 지식 그래프 구축을 제안함으로써 위에서 언급한 과제를 해결하려고 시도합니다. 이 프로세스는 여러 산업 분야에서 반복되고 있습니다. 전에, 딥페이크 탐지기 MVP, 신경 보조 AI및 Netstar AI 기반 웹 필터링 프로젝트.

자동차 사이버 보안 교육

스마일스랩 로고

차량 센서의 무결성 검증
디지털 트윈 및 멀티모달 AI 사용

엔지니어링 시스템 연구실의 보안 모델링 및 지능형 학습

상단 중앙: 안쪽을 가리키는 두 개의 화살표로 둘러싸인 감지 레이어 및 신호 아이콘 채팅 아이콘과 바깥쪽을 가리키는 두 개의 화살표로 둘러싸인 피드백 레이어. 실제 차량은 왼쪽에 있고, 스케치된 차량은 오른쪽에 있습니다. 그들은 안쪽을 가리키고 있습니다. 왼쪽 차량 위에는 물리적 공간이 있고 물리적 입력은 차량을 가리키는 화살표와 함께 왼쪽에 있습니다. 이 차 밑에는 상자가 있습니다. 시스템 - 차량 내 네트워크, 센서, 외부 네트워크 및 운전 시스템으로 표시된 4개의 아이콘입니다. 오른쪽에 있는 자동차는 위쪽에 디지털 공간이 있고 오른쪽에 네트워크 입력이 있으며 이를 가리키는 화살표가 있습니다. 아래 상자에는 모듈이라고 표시되어 있습니다. 두 상자 사이에 지각 인지 계층(Perceptive Cognitive Layer)이라는 레이블이 붙고 이 모듈 상자를 가리키는 두뇌가 있는 컴퓨터 아이콘이 있습니다. 두 개의 기어와 그 사이의 회로를 완성하는 화살표를 나타내는 다섯 번째 아이콘이 추가되어 이 상자에는 네 개의 아이콘이 모두 반복됩니다. 오른쪽에는 Cybersecurity SME라고 표시된 모듈 상자를 가리키는 화살표가 있는 사람 아이콘이 있습니다.
상단 중앙: 안쪽을 가리키는 두 개의 화살표로 둘러싸인 감지 레이어 및 신호 아이콘 채팅 아이콘과 바깥쪽을 가리키는 두 개의 화살표로 둘러싸인 피드백 레이어. 실제 차량은 왼쪽에 있고, 스케치된 차량은 오른쪽에 있습니다. 그들은 안쪽을 가리키고 있습니다. 왼쪽 차량 위에는 물리적 공간이 있고 물리적 입력은 차량을 가리키는 화살표와 함께 왼쪽에 있습니다. 이 차 밑에는 상자가 있습니다. 시스템 - 차량 내 네트워크, 센서, 외부 네트워크 및 운전 시스템으로 표시된 4개의 아이콘입니다. 오른쪽에 있는 자동차는 위쪽에 디지털 공간이 있고 오른쪽에 네트워크 입력이 있으며 이를 가리키는 화살표가 있습니다. 아래 상자에는 모듈이라고 표시되어 있습니다. 두 상자 사이에 지각 인지 계층(Perceptive Cognitive Layer)이라는 레이블이 붙고 이 모듈 상자를 가리키는 두뇌가 있는 컴퓨터 아이콘이 있습니다. 두 개의 기어와 그 사이의 회로를 완성하는 화살표를 나타내는 다섯 번째 아이콘이 추가되어 이 상자에는 네 개의 아이콘이 모두 반복됩니다. 오른쪽에는 Cybersecurity SME라고 표시된 모듈 상자를 가리키는 화살표가 있는 사람 아이콘이 있습니다.
상단 중앙: 안쪽을 가리키는 두 개의 화살표로 둘러싸인 감지 레이어 및 신호 아이콘 채팅 아이콘과 바깥쪽을 가리키는 두 개의 화살표로 둘러싸인 피드백 레이어. 실제 차량은 왼쪽에 있고, 스케치된 차량은 오른쪽에 있습니다. 그들은 안쪽을 가리키고 있습니다. 왼쪽 차량 위에는 물리적 공간이 있고 물리적 입력은 차량을 가리키는 화살표와 함께 왼쪽에 있습니다. 이 차 밑에는 상자가 있습니다. 시스템 - 차량 내 네트워크, 센서, 외부 네트워크 및 운전 시스템으로 표시된 4개의 아이콘입니다. 오른쪽에 있는 자동차는 위쪽에 디지털 공간이 있고 오른쪽에 네트워크 입력이 있으며 이를 가리키는 화살표가 있습니다. 아래 상자에는 모듈이라고 표시되어 있습니다. 두 상자 사이에 지각 인지 계층(Perceptive Cognitive Layer)이라는 레이블이 붙고 이 모듈 상자를 가리키는 두뇌가 있는 컴퓨터 아이콘이 있습니다. 두 개의 기어와 그 사이의 회로를 완성하는 화살표를 나타내는 다섯 번째 아이콘이 추가되어 이 상자에는 네 개의 아이콘이 모두 반복됩니다. 오른쪽에는 Cybersecurity SME라고 표시된 모듈 상자를 가리키는 화살표가 있는 사람 아이콘이 있습니다.

사이버 보안 교육 및 채용은 오늘날 인력 개발에서 가장 시급한 문제 중 하나입니다. 글로벌 공학 및 기술 연구소 해방했다 자동차 사이버 보안, 연결된 차량에 대한 위험 관점에 대한 사고 리더십 검토. 이는 더 많은 연결된 차량을 향한 우리의 궤적에 따라 자동차 산업에서 사이버 보안 전문가의 필요성이 크게 증가했음을 설명합니다.

하지만 이러한 역할을 수행하는 데에는 학습 곡선이 필요합니다. 오늘날 진행되는 사이버 보안 교육은 다소 건조하고 이론적이어서 실제보다 접근하기 어려운 것처럼 보일 수 있지만 반드시 그럴 필요는 없습니다.

상단 중앙에는 노드가 나오는 클라우드 아이콘이 클라우드 기반 상호 연결이라는 라벨이 붙어 있습니다. 아래 상자 360개. 왼쪽: 물리적 입력, 실제 자동차, 센서 아이콘, 스티어링 휠 아이콘 및 XNUMX륜 구동계 아이콘. 대시 보기 및 물리적 경험 라벨의 이미지입니다. 화살표는 중간 상자를 가리킵니다. 디지털 트윈, 유령 자동차, 기어 회로 아이콘, 노드 아이콘이 있는 자동차, 그래프 아이콘, 트윈 모듈이라는 라벨이 붙은 가상 대시보드 이미지. 아래 해커/사이버 보안 전문가 아이콘이 있는 오른쪽 상자로 화살표를 이동하세요. 오른쪽 상자에는 AR/VR 게임 엔진이라는 라벨이 붙어 있습니다. - 실제와 디지털 사이를 보는 자동차, XNUMXVR을 나타내는 XNUMX개의 아이콘, 이미지가 표시되고 VR 사용자 경험이라는 라벨이 붙어 있습니다.
상단 중앙에는 노드가 나오는 클라우드 아이콘이 클라우드 기반 상호 연결이라는 라벨이 붙어 있습니다. 아래 상자 360개. 왼쪽: 물리적 입력, 실제 자동차, 센서 아이콘, 스티어링 휠 아이콘 및 XNUMX륜 구동계 아이콘. 대시 보기 및 물리적 경험 라벨의 이미지입니다. 화살표는 중간 상자를 가리킵니다. 디지털 트윈, 유령 자동차, 기어 회로 아이콘, 노드 아이콘이 있는 자동차, 그래프 아이콘, 트윈 모듈이라는 라벨이 붙은 가상 대시보드 이미지. 아래 해커/사이버 보안 전문가 아이콘이 있는 오른쪽 상자로 화살표를 이동하세요. 오른쪽 상자에는 AR/VR 게임 엔진이라는 라벨이 붙어 있습니다. - 실제와 디지털 사이를 보는 자동차, XNUMXVR을 나타내는 XNUMX개의 아이콘, 이미지가 표시되고 VR 사용자 경험이라는 라벨이 붙어 있습니다.
상단 중앙에는 노드가 나오는 클라우드 아이콘이 클라우드 기반 상호 연결이라는 라벨이 붙어 있습니다. 아래 상자 360개. 왼쪽: 물리적 입력, 실제 자동차, 센서 아이콘, 스티어링 휠 아이콘 및 XNUMX륜 구동계 아이콘. 대시 보기 및 물리적 경험 라벨의 이미지입니다. 화살표는 중간 상자를 가리킵니다. 디지털 트윈, 유령 자동차, 기어 회로 아이콘, 노드 아이콘이 있는 자동차, 그래프 아이콘, 트윈 모듈이라는 라벨이 붙은 가상 대시보드 이미지. 아래 해커/사이버 보안 전문가 아이콘이 있는 오른쪽 상자로 화살표를 이동하세요. 오른쪽 상자에는 AR/VR 게임 엔진이라는 라벨이 붙어 있습니다. - 실제와 디지털 사이를 보는 자동차, XNUMXVR을 나타내는 XNUMX개의 아이콘, 이미지가 표시되고 VR 사용자 경험이라는 라벨이 붙어 있습니다.

우리 연구그룹에서는 자동차의 사이버 보안과 같은 학제간 교과목의 복잡성을 가르치기 위해 가상 '디지털 트윈' 및 시각적 질의응답 시스템과 같은 다양한 도구를 개발하고 있습니다. 이 과정을 통해 학생들은 IoT 센서, 운전 시스템, 차량 안팎의 시스템 및 소프트웨어 네트워크가 실제 차량에서 상호 작용하는 복잡한 방식을 VR로 경험할 수 있습니다.

요약하자면, 우리는 신경 기호 논리, AI 및 거꾸로 교실을 사용하여 자동차 사이버 보안 분야의 새로운 제품을 시작으로 수업을 처음부터 다시 설계하기 위해 노력하고 있습니다. 이 수업에서는 실제 자동차 시스템의 디지털 트윈에 대한 실습을 제공하고 chatGPT와 같은 대규모 언어 모델을 기반으로 하는 챗봇을 통해 연중무휴 지원도 제공합니다.