박현규

알약 검색의 병목은 각인 하나였습니다.

• 앱 분석에서 사용자가 손으로 고치는 속성은 압도적으로 각인. 색, 모양, 제형 수정은 거의 0
• 앱에 각인 추출이 없어 사용자가 매번 직접 입력
• 각인 없이 검색하면 25,246종 중 정답의 중앙 순위가 1,248위, top-1 0%
• 각인은 잉크가 아니라 음각이라 표면과 같은 색이고 그림자로만 보임. 문서용 OCR은 정확도 0.7%

상용 비전 언어 모델(Gemini)로 판독, 검색, 검증을 잇는 파이프라인을 만들고 실사진 69알약 138면으로 전수 측정했습니다.

• 판독만 붙여도 top-1 0%에서 53.6%. 후보 20개를 다시 보여 주는 검증 단계를 더해 58.0%
• 이득의 절반은 판독기 뒤에서 나왔습니다. API 호출 없이 랭커의 순위 감쇠와 속성 가중치만 조정해 top-20 +13.0%p
• 후보 목록을 함께 보여 주면 같은 모델의 판독 정확도가 59.4%에서 69.6%로 상승
• 앞뒤 두 면을 찍으면 한 면 대비 top-1 +17.4%p. 모델 교체보다 여섯 배 큰 레버
• 전처리 18종, 확대, 더 큰 모델, 곡선 정렬은 전부 효과 0. 사람도 블라인드로는 37.1%만 읽고 45.7%는 못 읽는 사진이라 판독기 자체는 한계

온디바이스로 돌릴 자체 각인 판독기(CRNN + CTC)를 학습했습니다. 식약처 참조 사진 23,750알약 47,500면을 약포지 촬영 조건으로 열화시켜 학습 데이터로 썼습니다.

• 팀이 쓸 라벨링 도구를 직접 만들어 평가셋을 69알약에서 291알약(559면)으로 늘렸습니다. 이것만으로 "정밀도 100%"가 표본 탓이었음이 드러나 이전 결론 여러 개를 뒤집었습니다
• 지표를 고정 임계값 대신 "정밀도 90% 지점에서 통과하는 면 수"로 다시 설계. 선별은 1시드, 채택은 3시드 규칙
• 고확신 오답 4건 중 3건이 글자는 읽는데 회전 방향을 잘못 고른 경우. 증강이 ±20°만 덮은 탓이라, 뒤집힌 면에 빈 정답을 가르치는 학습으로 한때 12에서 41알약으로 올렸으나, 최종 구조(TPS, FRM)에서 다시 재니 손해라 닫았습니다
• 학습 없이 추론만 바꿔 확대 TTA와 후보 단위 시드 앙상블을 더하고, 학습량을 20에폭에서 60에폭으로 늘렸습니다. 앙상블은 모델이 셋이라 폰에 올릴 수 없어 측정만 하고, 최종 채택은 단일 시드 모델입니다
• 증강, 전처리, MIM 사전학습, 백본 교체, 학습률, 가중치 평균 등 24개 실험은 전부 기준 미달로 닫았습니다

남은 실패의 원인을 해부하고, 모델을 바꾸지 않고 후보를 좁혔습니다.

• 실패는 알약이 아니라 사진에 달렸습니다. 같은 알약을 두 번 이상 찍은 57건 중 22건이 사진에 따라 성공과 실패가 갈렸고, 해상도, 대비, 선명도와의 상관은 전부 |r| 0.13 이하
• 오라클 진단: 144개 후보 안에 정답이 있는 비율 84%. 선택 실패 12%, 인식 실패 16%
• 판독기 답을 "확신도 0.95를 넘는 글자 전부"로 바꾸고 부분 수열로 대조해, 학습 없이 후보 중앙값 1,248개에서 19개(정답 유지 93%)
• 이미지 임베딩은 각인 대체로는 실패(+1.5%p)했지만, 각인으로 좁힌 뒤의 순위에만 쓰고 특징을 마크 모델에서 뽑자 후보 안 1위 67.5%, 5위 안 88.7%. 마크 필터는 임베딩과 겹쳐 순손해라 껐고, 카탈로그 임베딩 72MB는 서버에 두어 기기는 12KB만 보냄

• 각인 검색 top-1 0%에서 58.0%, top-3 0%에서 71.0% (69알약 138면)
• 자체 판독기 정밀도 90% 통과 188면에서 240면 (최종 채택 단일 모델). 3시드 앙상블은 248면으로 측정만 하고 채택하지 않음
• 마크(제조사 기호) 유무 모델은 일곱 번 실패한 뒤 원인이 앞뒤 면 배정임을 찾아 전용 ConvNeXt로 교체. 정답 해석 오류까지 바로잡자 AUC 0.82에서 0.99, 같은 정밀도에서 재현율 36%에서 80%
• fp16 ONNX 변환으로 마크 모델 111.7MB를 55.9MB로 줄이고 판정이 바뀐 면 0건을 확인. 전처리 한 줄 차이가 fp16보다 70배 크게 흔들려, 텐서 대조와 크롭 대조를 나누는 2단계 검증을 iOS 이식 절차로 정함
• Core ML로 실기기에 올리며 모델별 연산 장치를 재서 정했습니다. fp32는 Neural Engine에 못 올라가 마크 모델만 fp16으로 바꿔 추론 244ms에서 60ms, 각인은 GPU와 CPU 두 레인으로 나눠 iPhone 12 판독 1장 9.2초에서 5.4초
• App Store 출시, 출시 초기 사용자 3,600명

강의실 5~10m 거리에서 녹음하면 STT 정확도가 크게 떨어졌습니다.

• 음압이 1m 대비 10분의 1 수준으로 줄고, SNR은 5m에서 약 14dB, 10m에서 약 20dB 감쇠
• 10m에서는 음성보다 노이즈가 더 크게 녹음됨
• Whisper는 오프라인 배치용 모델이라, 모델을 키우면 정확도는 오르지만 처리 시간도 같이 늘어남

상용 서비스의 전처리 방식을 조사해 두 단계를 AVAudioEngine 파이프라인에 직접 구현했습니다.

// RMS 기반 적응형 게인
let rms = sqrt(floatArray.map { $0 * $0 }.reduce(0, +) / Float(frameLength))
let targetRMS: Float32 = 0.25
let gain = targetRMS / max(rms, 0.00001)

// tanh 소프트 클리핑
for i in 0..<floatArray.count {
    let scaled = floatArray[i] * gain
    floatArray[i] = tanh(scaled * 3.0)
}

그다음 모델 크기를 바꿔 가며 처리 시간과 정확도를 함께 쟀습니다.

• 10m 거리 녹음 SNR이 5~10dB에서 15~20dB로 개선
• medium 모델 채택. 한국어 강의에서 CER 15% 이하, 처리 지연 5~10초
• WebSocket 스트리밍 클라이언트와 오디오 전처리 코드를 WhisperLive 오픈소스(3.6k★)에 기여
• 1저자로 논문 작성, 한국학술정보(KISS) 등재: 실시간 STT와 RAG 기반 퀴즈 생성 시스템 연구

닉네임이나 프로필을 수정하는 POST 요청 뒤 네비게이션에서 POP하면, 서버에는 반영됐지만 상위 화면은 캐시된 이전 정보를 그대로 보여 줬습니다.

당시 구조는 DIContainer가 AppRouter를 통해 스택으로 뷰를 관리하고, POP으로 이전 뷰에 복귀하는 방식이었습니다.

세 가지 방안을 놓고 비교했습니다.

• ViewModel 공유상위와 하위 화면이 같은 ViewModel 인스턴스를 쓰도록 구조 변경
• 강제 새로고침POP 뒤 상위 화면 onAppear에서 API를 다시 호출
• 전역 AppState 도입 (채택)DIContainer에 사용자 정보를 관리하는 Combine 기반 상태 스트림을 두고, POST 성공 시 Publisher에 최신 데이터를 반영해 구독 중인 뷰가 자동 갱신

• 사용자 정보의 단일 Source of Truth를 DIContainer 안 Combine 스트림 한 곳으로 확보
• 화면 간 직접 참조 없이 이벤트 스트림으로 연결되어 결합도가 낮아지고 확장이 쉬워짐
• 2025 숭실대 소프트웨어 공모전 총장상, 2025 숭실대 IT프로젝트 공모전 우수상
• 2025 SW 인재 페스티벌(과학기술정보통신부) SW중심대학 우수작품관에 숭실대 대표로 부스 운영

두 가지가 막혔습니다.

• SwiftUI의 Text는 부분 범위 스타일을 지원하지 않아, 일기 안 특정 단어에만 밑줄, 취소선, 폰트, 크기를 적용할 수 없었습니다.
• 펫과 오브젝트를 드래그와 회전 제스처로 배치하는 기능에서, iPhone SE부터 Pro Max, iPad까지 종횡비가 달라 기준 좌표가 틀어졌습니다.

텍스트 편집은 두 라이브러리를 비교했습니다.

• MarkdownUISwiftUI 전용. 헤딩, 리스트, 테이블은 다양하지만 부분 범위 스타일링이 부족
• RichTextKit + RTF (채택)UIKit NSAttributedString 기반. 스타일 편집, 단축키, 포맷 변경 같은 고급 기능이 있고 RTF로 서식 저장과 복원이 쉬움. UIKit Core Text 엔진 위에서 중간 변환 없이 즉시 렌더링

좌표 문제는 기준 캔버스를 393×852로 고정하고 GeometryReader로 기기 크기를 받아 변환했습니다.

let scaleX = geometry.size.width  / 393
let scaleY = geometry.size.height / 852
let scale  = min(scaleX, scaleY)

let x: CGFloat = 20 * scaleX
let y: CGFloat = (-110 + storeViewOffset) * scaleY

• 일기에서 굵게, 밑줄, 취소선, 폰트, 크기를 부분 적용하고 RTF로 저장과 복원
• DesignSpace 모델로 좌표, 크기, 각도 변환을 한곳에 모아 iPhone SE, Pro Max, iPad에서 같은 배치 결과. 핸들 크기도 스케일에 연동
• 2025 UMC 8기 데모데이 대상. 전국 연합 개발 동아리 UMC의 65개 프로젝트 중 1위