Research Overview연구 소개

Understanding a prediction starts with understanding the concepts behind it. We investigate how neurons, visual regions, and human-readable concepts contribute to model decisions, including actions that unfold over time. We also study uncertainty and behavior on unfamiliar inputs, asking when a model should flag a doubtful prediction. Together, these methods aim to help people inspect learned representations, diagnose failures, and judge the evidence behind an AI system's output.

예측을 이해하려면 모델이 학습한 개념과 판단 근거를 살펴봐야 합니다. 뉴런·영상 영역·사람이 이해할 수 있는 개념이 모델의 결정에 어떻게 기여하는지 분석하고, 시간에 따라 펼쳐지는 행동의 설명으로 확장합니다. 낯선 입력에서의 동작과 불확실성도 연구하며, 의심스러운 예측을 언제 표시해야 하는지 묻습니다. 이를 통해 학습된 표현을 점검하고 오류를 진단하며, AI 출력의 근거를 사람이 판단할 수 있도록 돕고자 합니다.

• Concept-based Explanation
• Neuron Interpretation
• Uncertainty
• OOD Detection

A long video contains more information than a model can use at once. We study how to organize past observations into compact memories, retrieve relevant events, and choose the frames that matter for a question. Our work spans dense video captioning, question answering, and streaming video. It connects memory with adaptive observation: deciding when existing evidence is sufficient, when to look again, and when to wait for a new event.

긴 영상에는 모델이 한 번에 활용하기 어려울 만큼 많은 정보가 담겨 있습니다. 과거 관찰을 압축된 기억으로 구조화하고, 관련 사건을 검색하며, 질문에 중요한 장면을 선택하는 방법을 연구합니다. 연구 범위는 사건별 영상 설명 생성, 질의응답, 스트리밍 영상 이해를 아우릅니다. 기억과 적응형 관찰을 연결하여 현재 근거만으로 충분한지, 다시 살펴봐야 하는지, 새로운 사건을 기다려야 하는지를 판단하는 지능을 지향합니다.

• Long Video
• Memory
• Adaptive Observation
• Streaming Video
• Video QA

Surgical understanding involves tools, anatomy, actions, and a procedure's progress over time. We develop structured scene representations and explanations of surgical phase predictions, while evaluating whether vision-language models actually use the image evidence they are given. Working with clinical collaborators, this research connects scene graphs, temporal modeling, and bias-controlled evaluation. The goal is to make surgical AI more understandable and to establish clearer evidence about its strengths and failure modes.

수술을 이해하려면 도구·해부 구조·행동뿐 아니라 시간에 따른 수술의 진행도 함께 파악해야 합니다. 수술 장면의 구조적 표현과 수술 단계 예측의 설명 방법을 개발하고, 비전언어모델이 주어진 영상 근거를 실제로 활용하는지 평가합니다. 임상 연구자들과 함께 장면 그래프·시간적 모델링·편향을 통제한 평가를 연결합니다. 수술 AI의 판단을 더 이해하기 쉽게 만들고, 잘하는 것과 실패하는 조건을 구체적으로 확인하는 것이 목표입니다.

• Surgical Scene Graphs
• Phase Recognition
• Visual Grounding
• Surgical VQA

Medical AI must connect information across images, language, and clinical context. We investigate knowledge-augmented explanations, multimodal prediction, and the reliability of generated medical reports. Alongside building models, we test whether their outputs remain grounded and how they behave under adversarial changes. Current projects extend these questions to explainable medical knowledge generation and large multimodal models for emergency care. Our focus is on interpretable reasoning and careful evaluation of research systems.

의료 AI는 영상·언어·임상 맥락에 흩어진 정보를 연결해야 합니다. 의료 지식으로 보강한 설명, 멀티모달 예측, 자동 생성된 의료 보고서의 신뢰성을 연구합니다. 모델 개발과 함께 출력이 근거를 유지하는지, 적대적 변화에서 어떻게 동작하는지도 평가합니다. 현재 진행 중인 과제는 이러한 질문을 설명 가능한 의료 지식 생성과 응급의료용 대규모 멀티모달 모델로 확장합니다. 해석 가능한 추론과 연구 시스템의 면밀한 평가에 초점을 둡니다.

• Medical VLMs
• Knowledge Graphs
• Report Generation
• Multimodal Prediction
• Robustness

Images taken at different times reveal how a scene changes. We study how AI can locate those changes, describe them in language, and learn when paired annotations are scarce. This includes joint detection and captioning for remote sensing, synthetic training data, and textual reasoning about visual differences. Our broader space research also includes an ongoing project on explainable solar-flare prediction, connecting predictive modeling with explanations people can examine.

서로 다른 시점의 영상은 장면의 변화를 보여줍니다. AI가 변화의 위치를 찾고 그 내용을 언어로 설명하며, 시점별 정답 주석이 부족한 상황에서도 학습하는 방법을 연구합니다. 원격탐사 영상의 변화 탐지와 설명을 함께 수행하는 모델, 합성 학습 데이터, 시각적 차이를 파악하기 위한 언어적 추론을 다룹니다. 우주 분야에서는 태양 플레어 예측을 위한 설명 가능한 AI 과제도 진행하며, 예측 모델링과 사람이 검토할 수 있는 설명을 연결합니다.

• Change Detection
• Change Captioning
• Remote Sensing
• Synthetic Data
• Solar Flares

AMI Lab identifies robotics as an application of its AI research. This emerging direction asks how perception, language, and physical interaction can connect. Related collaborative work studies trajectories conditioned on a person's urgency and comfort preferences, alongside efficient modeling and rendering of haptic textures. These publications offer complementary foundations for studying how AI can interpret human intent and represent physical interaction. The robotics theme remains a research direction for further development.

AMI Lab은 로보틱스를 AI 연구의 응용 분야로 제시하고 있습니다. 이 확장 연구 방향은 인지·언어·물리적 상호작용을 어떻게 연결할 수 있는지 묻습니다. 관련 공동연구에서는 사람의 긴급성과 승차감 선호를 반영한 이동 경로 예측, 효율적인 촉감 질감 모델링과 렌더링을 다룹니다. 이러한 성과는 인간의 의도와 물리적 상호작용을 표현하는 AI 연구의 기반이 됩니다. 로보틱스는 이를 바탕으로 발전시켜 나갈 연구 방향입니다.

• Trajectory Prediction
• Persona Conditioning
• Haptics
• Robotics