2024 한국열처리공학회 추계학술발표대회 우수논문상 수상 / 박세진(일반대학원 신소재공학전공 석사과정 24) 학생

우리 대학 일반대학원 신소재공학전공 박세진 학생(인공지능재료설계연구실, 지도교수 조기섭)이 최근 개최된 2024 한국열처리공학회 추계학술발표대회에서 우수논문상(정인상 상)을 수상하였다.

박세진 학생은 ‘PDF 문서를 활용한 객체 탐지 기반 데이터 분류 및 정량 데이터 추출 시스템 개발’이라는 주제로 논문을 발표하였다. 대부분의 연구 논문은 텍스트와 이미지의 혼합 형태로 존재하며, 합금의 조성, 열처리 조건, 물성 등 중요한 정보를 포함하고 있다. 하지만 기존의 PDF 처리 라이브러리는 문서 내의 복잡한 구조와 문맥을 충분히 이해하지 못해 데이터를 정확하게 추출하는 데 한계가 있었다.

이를 해결하기 위해 박세진 학생은 YOLO 모델과 대규모 언어모델(LLM)을 결합한 멀티모달 학습 시스템을 개발하였다. 이 시스템은 논문에서 멀티모달 모델을 통해 조성, 열처리 조건, γ' 상 고용화온도, creep rupture time와 같은 중요 정보를 텍스트와 이미지에서 효과적으로 추출하고, 이를 정형화된 데이터베이스 형태로 구축한다.

본 연구의 핵심 성과는 멀티모달 학습을 통해 PDF 문서의 이미지와 텍스트 데이터를 동시에 분석하고, 데이터 증강을 통해 모델의 성능을 향상시킨 것이다. 기존의 회전 및 반전 증강 기법은 x축과 y축이 시간, 온도, 실험 조건 등 구체적인 물리적 의미를 지닌 그래프 이미지에서 데이터의 의미를 왜곡할 수 있다는 한계가 있었다. 이를 극복하기 위해 박세진 학생은 단일 이미지를 여러 개 결합하여 다중 이미지 세트를 생성하는 새로운 데이터 증강 기법을 개발했다. 이 방법은 원본 이미지의 물리적 의미를 보존하면서도 데이터의 다양성을 확보함으로써 모델의 일반화 성능을 크게 향상시켰다. 뿐만 아니라, Prompt Engineering을 활용하여 그래프와 캡션 간의 상호 연계성을 정밀하게 분석함으로써, 정량 데이터를 더욱 정확하게 분류하고 추출할 수 있는 시스템을 구축하였다. 

박세진 학생의 연구는 과학기술 문서와 연구 논문에서 방대한 양의 데이터를 효율적으로 관리하고 분석할 수 있는 자동화된 시스템을 제시함으로써, 소재 개발의 속도를 크게 향상시키고 다양한 연구 분야에서 중요한 기여를 할 것으로 기대된다.