AI 멀티모달 앱 만들기 - 이미지+텍스트 동시 처리 파이프라인
AI 멀티모달 앱 만들기 - 이미지+텍스트 동시 처리 파이프라인
2026년 4월 기준 | AI API 활용
이 글에서 다루는 것: 이미지와 텍스트를 동시에 처리하는 멀티모달 AI 앱을 Python으로 직접 만듭니다. GPT-4o와 Claude 3.5 Sonnet의 Vision API를 활용해서, 영수증 사진을 찍으면 가계부가 자동으로 정리되고, 스크린샷 한 장으로 버그 리포트가 생성되는 실전 파이프라인을 구축합니다. 두 모델의 이미지 분석 정확도와 속도 비교 결과도 포함했습니다.
멀티모달 AI란 무엇인가
멀티모달(Multimodal)은 여러 가지 형태의 입력을 동시에 이해하는 AI를 말합니다. 텍스트만 처리하던 기존 LLM과 달리, 이미지, 오디오, 비디오까지 함께 받아서 종합적으로 판단할 수 있습니다.
왜 이게 중요하냐면, 실제 업무에서 정보는 한 가지 형태로만 오지 않기 때문입니다. 영수증은 사진이고, 에러 메시지는 스크린샷이고, 회의록은 텍스트입니다. 이걸 하나의 AI 파이프라인에서 통합 처리할 수 있으면 자동화의 범위가 확 넓어집니다.
제가 멀티모달 API를 본격적으로 쓰기 시작한 건 올해 초입니다. 팀에서 경비 처리를 할 때마다 영수증을 수작업으로 엑셀에 옮기고 있었는데, "사진 찍으면 자동으로 되게 할 수 없나?"라는 생각에서 시작했습니다. 결과적으로 GPT-4o와 Claude 3.5 두 모델을 모두 테스트했고, 용도에 따라 다른 모델을 쓰는 하이브리드 구조로 정착했습니다.
2026년 4월 현재, 멀티모달을 지원하는 주요 모델은 이렇습니다:
- GPT-4o: OpenAI의 대표 멀티모달 모델. 이미지, 오디오 입력 지원. 속도가 빠르고 범용성이 높습니다.
- Claude 3.5 Sonnet: Anthropic의 Vision 지원 모델. 문서/차트 이미지 분석에서 정확도가 높습니다.
- Gemini 1.5 Pro: Google의 모델. 긴 컨텍스트와 비디오 입력이 강점이지만 오늘은 다루지 않습니다.
GPT-4o / Claude 3.5 멀티모달 API 기본 사용법
먼저 두 모델에 이미지를 보내는 기본 코드부터 정리합니다. 여기서 핵심은 이미지를 base64로 인코딩해서 API에 전달한다는 점입니다. URL로 보내는 방법도 있지만, 로컬 파일을 처리하는 경우가 많아서 base64 방식을 기본으로 씁니다.
import base64
import time
from pathlib import Path
# --- GPT-4o 이미지 분석 ---
from openai import OpenAI
openai_client = OpenAI()
def analyze_image_gpt4o(image_path: str, prompt: str) -> dict:
"""GPT-4o로 이미지 분석"""
img_b64 = base64.b64encode(Path(image_path).read_bytes()).decode()
ext = Path(image_path).suffix.lstrip(".")
mime = f"image/{ext}" if ext != "jpg" else "image/jpeg"
start = time.time()
resp = openai_client.chat.completions.create(
model="gpt-4o",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": prompt},
{"type": "image_url",
"image_url": {"url": f"data:{mime};base64,{img_b64}"}}
]
}],
max_tokens=2048,
temperature=0
)
elapsed = time.time() - start
return {"text": resp.choices[0].message.content, "time": elapsed}
# --- Claude 3.5 Sonnet 이미지 분석 ---
import anthropic
claude_client = anthropic.Anthropic()
def analyze_image_claude(image_path: str, prompt: str) -> dict:
"""Claude 3.5 Sonnet으로 이미지 분석"""
img_b64 = base64.b64encode(Path(image_path).read_bytes()).decode()
ext = Path(image_path).suffix.lstrip(".")
media_type = f"image/{ext}" if ext != "jpg" else "image/jpeg"
start = time.time()
resp = claude_client.messages.create(
model="claude-3-5-sonnet-20241022",
max_tokens=2048,
messages=[{
"role": "user",
"content": [
{"type": "image",
"source": {
"type": "base64",
"media_type": media_type,
"data": img_b64
}},
{"type": "text", "text": prompt}
]
}]
)
elapsed = time.time() - start
return {"text": resp.content[0].text, "time": elapsed}두 API의 차이점을 짚어보면:
- 이미지 전달 구조: OpenAI는
image_url타입에 data URI를 넣고, Anthropic은image타입에source객체를 별도로 구성합니다. 형식이 다르기 때문에 래퍼 함수를 만들어두는 게 좋습니다. - 응답 구조: OpenAI는
choices[0].message.content, Claude는content[0].text로 접근합니다. - 지원 포맷: 둘 다 JPEG, PNG, GIF, WebP를 지원합니다. Claude는 추가로 PDF 입력도 가능합니다.
공통 유틸리티 - 이미지 전처리 모듈
실전에서 이미지를 그대로 API에 보내면 문제가 생깁니다. 스마트폰으로 찍은 영수증 사진은 4000x3000 해상도에 5MB가 넘습니다. 그대로 보내면 토큰 소비가 폭발하고, 처리 시간도 길어집니다.
그래서 이미지를 API에 보내기 전에 리사이즈하고 최적화하는 전처리 모듈을 만들었습니다. 이건 모델에 관계없이 공통으로 쓰는 유틸리티입니다.
from PIL import Image
import io
import base64
def preprocess_image(image_path: str, max_size: int = 1568, quality: int = 85) -> str:
"""이미지를 리사이즈하고 base64로 인코딩
Args:
image_path: 이미지 파일 경로
max_size: 긴 변의 최대 픽셀 (Claude 권장 1568px)
quality: JPEG 압축 품질 (1-100)
Returns:
base64 인코딩된 문자열
"""
img = Image.open(image_path)
# EXIF 회전 정보 반영 (스마트폰 사진에서 중요)
from PIL import ImageOps
img = ImageOps.exif_transpose(img)
# 긴 변 기준으로 리사이즈
w, h = img.size
if max(w, h) > max_size:
ratio = max_size / max(w, h)
new_w = int(w * ratio)
new_h = int(h * ratio)
img = img.resize((new_w, new_h), Image.LANCZOS)
# RGBA -> RGB 변환 (PNG 투명 배경 처리)
if img.mode == "RGBA":
bg = Image.new("RGB", img.size, (255, 255, 255))
bg.paste(img, mask=img.split()[3])
img = bg
# JPEG로 압축 후 base64 인코딩
buffer = io.BytesIO()
img.save(buffer, format="JPEG", quality=quality)
return base64.b64encode(buffer.getvalue()).decode()
def estimate_image_tokens(width: int, height: int) -> dict:
"""이미지의 예상 토큰 소비량 계산"""
# OpenAI: 고해상도 모드 기준 약 170토큰/타일(512x512)
tiles_openai = ((width + 511) // 512) * ((height + 511) // 512)
openai_tokens = 85 + (tiles_openai * 170)
# Claude: 대략적으로 1000px x 1000px 이미지가 약 1600토큰
claude_tokens = int((width * height) / 625)
return {"openai": openai_tokens, "claude": claude_tokens}max_size=1568로 설정한 이유가 있습니다. Claude 공식 문서에서 이미지 긴 변이 1568px을 넘으면 내부적으로 리사이즈한다고 명시하고 있습니다. 어차피 잘릴 거라면 미리 줄여서 보내는 게 전송 시간과 비용 면에서 유리합니다. GPT-4o도 비슷한 크기에서 최적의 비용 효율을 보입니다.
EXIF 회전 처리(exif_transpose)는 실수하기 쉬운 부분입니다. 스마트폰으로 세로로 찍은 사진이 API에서 가로로 인식되는 경우가 있는데, 이 한 줄로 해결됩니다. 이걸 빼먹으면 영수증이 90도 회전된 상태로 OCR이 돌아가서 인식률이 바닥을 칩니다.
실전 예제 1: 영수증 OCR + 가계부 자동 정리
가장 먼저 만든 게 영수증 자동 인식 시스템입니다. 영수증을 스마트폰으로 찍어서 Slack에 올리면, 날짜/가게명/항목/금액을 추출해서 구글 시트에 자동 기록하는 구조입니다.
핵심은 프롬프트 설계입니다. 단순히 "이 영수증을 읽어줘"라고 하면 자유 형식 텍스트가 나옵니다. JSON 스키마를 명시적으로 지정하면 파싱이 훨씬 안정적입니다.
import json
RECEIPT_PROMPT = """이 영수증 이미지를 분석해서 아래 JSON 형식으로 정확히 변환해주세요.
{
"store_name": "가게 이름",
"date": "YYYY-MM-DD",
"items": [
{"name": "품목명", "qty": 수량, "price": 단가}
],
"subtotal": 소계(숫자만),
"tax": 부가세(숫자만, 없으면 0),
"total": 합계(숫자만),
"payment_method": "카드/현금/기타",
"card_last4": "카드 끝 4자리(있으면)"
}
주의사항:
- 금액은 반드시 숫자만 (쉼표, 원 기호 제거)
- 한국어 영수증이므로 한국어 품목명 그대로 유지
- 읽기 어려운 항목은 "불명확"으로 표시
- JSON만 출력하고 다른 설명은 하지 마세요"""
def process_receipt(image_path: str, model: str = "claude") -> dict:
"""영수증 이미지에서 데이터 추출"""
# 이미지 전처리 (리사이즈 + base64)
img_b64 = preprocess_image(image_path, max_size=1568, quality=90)
if model == "claude":
resp = claude_client.messages.create(
model="claude-3-5-sonnet-20241022",
max_tokens=1024,
messages=[{
"role": "user",
"content": [
{"type": "image",
"source": {
"type": "base64",
"media_type": "image/jpeg",
"data": img_b64
}},
{"type": "text", "text": RECEIPT_PROMPT}
]
}]
)
raw_text = resp.content[0].text
else:
resp = openai_client.chat.completions.create(
model="gpt-4o",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": RECEIPT_PROMPT},
{"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{img_b64}"}}
]
}],
max_tokens=1024,
temperature=0
)
raw_text = resp.choices[0].message.content
# JSON 파싱 (코드블록 감싸기 대응)
clean_text = raw_text.strip()
if clean_text.startswith("```"):
clean_text = clean_text.split("```")[1]
if clean_text.startswith("json"):
clean_text = clean_text[4:]
return json.loads(clean_text.strip())
# 사용 예시
result = process_receipt("receipt_photo.jpg", model="claude")
print(f"가게: {result['store_name']}")
print(f"합계: {result['total']:,}원")
for item in result["items"]:
print(f" - {item['name']}: {item['price']:,}원 x {item['qty']}")실제로 돌려보면 이런 결과가 나옵니다:
합계: 23,400원
- 서울우유 1L: 2,800원 x 1
- 삼겹살 300g: 8,900원 x 1
- 신라면 5개입: 4,200원 x 1
- 바나나 1송이: 3,500원 x 1
- 식빵: 2,500원 x 1
- 계란 10구: 1,500원 x 1
영수증 OCR에서 제가 겪은 가장 큰 문제는 금액 파싱 오류였습니다. "8,900"을 "89,00"으로 읽거나, 세로 줄이 번져서 숫자를 잘못 인식하는 경우가 있습니다. 이걸 줄이려면 두 가지 트릭이 효과적입니다:
- 이미지 quality를 90 이상으로 유지하세요. 압축률을 너무 높이면 작은 글씨가 뭉개집니다.
- 프롬프트에 "소계와 항목 합산이 일치하는지 검증하라"는 지시를 추가하세요. AI가 스스로 크로스체크를 하면 오류율이 확 줄어듭니다.
실전 예제 2: 스크린샷으로 버그 리포트 자동 생성
두 번째로 만든 건 스크린샷 기반 버그 리포트 생성기입니다. QA 팀에서 "이거 버그인데요"라고 스크린샷 하나 던지면, 에러 메시지 분석, 재현 경로 추측, 심각도 판단까지 자동으로 해주는 도구입니다.
이게 생각보다 쓸모가 많습니다. QA 담당자가 버그 리포트를 작성하는 데 걸리는 시간이 평균 10분에서 2분으로 줄었습니다. 물론 AI가 만든 초안을 사람이 확인하고 보완하는 과정은 필요합니다.
BUG_REPORT_PROMPT = """이 스크린샷을 분석해서 버그 리포트를 작성해주세요.
아래 JSON 형식으로 응답하세요:
{
"title": "버그 제목 (한 줄, 구체적으로)",
"severity": "critical/high/medium/low",
"category": "UI/기능/성능/보안/데이터 중 하나",
"description": "어떤 문제가 발생했는지 상세 설명",
"error_message": "화면에 보이는 에러 메시지 원문 (없으면 null)",
"expected_behavior": "정상적이라면 어떻게 동작해야 하는지",
"environment": {
"browser": "추측되는 브라우저",
"os": "추측되는 OS",
"page": "추측되는 페이지/URL"
},
"possible_cause": "추측되는 원인",
"suggested_fix": "개발자에게 제안하는 수정 방향"
}
주의:
- 스크린샷에서 보이는 정보만 기반으로 작성
- 확실하지 않은 건 "추측" 접두어를 붙이세요
- 에러 메시지의 스택트레이스가 보이면 그대로 옮기세요"""
def generate_bug_report(screenshot_path: str) -> dict:
"""스크린샷에서 버그 리포트 자동 생성"""
img_b64 = preprocess_image(screenshot_path, max_size=1568)
# 버그 리포트는 Claude가 더 정확해서 기본 모델로 사용
resp = claude_client.messages.create(
model="claude-3-5-sonnet-20241022",
max_tokens=2048,
messages=[{
"role": "user",
"content": [
{"type": "image",
"source": {
"type": "base64",
"media_type": "image/jpeg",
"data": img_b64
}},
{"type": "text", "text": BUG_REPORT_PROMPT}
]
}]
)
raw = resp.content[0].text.strip()
if raw.startswith("```"):
raw = raw.split("```")[1]
if raw.startswith("json"):
raw = raw[4:]
report = json.loads(raw.strip())
return report
def format_jira_description(report: dict) -> str:
"""Jira/Linear 이슈 형식으로 변환"""
env = report.get("environment", {})
desc = f"""## 버그 설명
{report['description']}
## 에러 메시지
{report.get('error_message') or '없음'}
## 기대 동작
{report['expected_behavior']}
## 환경
- 브라우저: {env.get('browser', '미확인')}
- OS: {env.get('os', '미확인')}
- 페이지: {env.get('page', '미확인')}
## 추측 원인
{report.get('possible_cause', '분석 필요')}
## 수정 제안
{report.get('suggested_fix', '-')}
"""
return desc이걸 실제로 쓸 때는 Slack 봇과 연동합니다. Slack 채널에 스크린샷을 올리고 "/bug" 슬래시 커맨드를 치면, 위 함수가 돌아가서 Jira에 이슈가 자동 생성됩니다. QA 담당자는 생성된 이슈를 확인하고 세부사항만 보완하면 됩니다.
재미있었던 건 Claude가 스크린샷에서 생각보다 많은 맥락을 읽어낸다는 점입니다. 브라우저 탭 제목에서 페이지를 추측하고, 개발자 도구가 열려있으면 콘솔 에러까지 읽고, URL 바에서 환경(staging/production)을 구분합니다. 처음에는 "이걸 이렇게까지 잡아내네?" 싶어서 놀랐습니다.
GPT-4o vs Claude 3.5 이미지 분석 비교
실제로 두 모델을 3개월간 병행 사용하면서 느낀 차이를 정리합니다. 동일한 이미지 50장으로 테스트한 결과를 기반으로 합니다.
| 평가 항목 | GPT-4o | Claude 3.5 Sonnet |
|---|---|---|
| 한국어 영수증 OCR 정확도 | 88% (금액 오류 간헐적) | 94% (소수점/콤마 정확) |
| 코드 스크린샷 분석 | 90% (구문 정확히 읽음) | 93% (에러 원인 추론 우수) |
| 차트/그래프 해석 | 91% (수치 읽기 정확) | 87% (범례 혼동 간헐적) |
| UI 스크린샷 버그 탐지 | 82% | 89% (레이아웃 깨짐 잘 잡음) |
| 평균 응답 시간 | 2.1초 | 3.4초 |
| 이미지당 평균 비용 | ~$0.01 | ~$0.008 |
| JSON 포맷 준수율 | 92% | 97% |
| 최대 이미지 해상도 | 20MB / 긴 변 2048px | 20MB / 긴 변 1568px |
| 한 번에 보낼 수 있는 이미지 | 최대 20장 | 최대 20장 |
요약하면 이렇습니다:
- 텍스트 추출(OCR) 위주라면 Claude가 낫습니다. 특히 한국어 영수증이나 문서에서 Claude의 정확도가 눈에 띄게 높습니다. JSON 응답 형식도 더 안정적으로 지킵니다.
- 속도가 중요하면 GPT-4o입니다. 평균 1.3초 빠릅니다. 실시간 처리가 필요한 앱에서는 이 차이가 큽니다.
- 차트/수치 데이터 분석은 GPT-4o가 약간 앞섭니다. 축의 숫자를 더 정확히 읽고, 트렌드 설명도 구체적입니다.
- 코드 분석과 버그 탐지는 Claude가 강합니다. 스크린샷에서 에러 메시지를 읽는 것뿐 아니라 "이 에러는 아마 ~가 원인일 것이다"라는 추론까지 해줍니다.
그래서 저는 현재 이런 전략을 씁니다:
- 영수증/문서 OCR --> Claude 3.5 Sonnet
- 실시간 이미지 분석 (챗봇 등) --> GPT-4o
- 버그 리포트 생성 --> Claude 3.5 Sonnet
- 차트 데이터 추출 --> GPT-4o
- 대량 이미지 배치 처리 --> Claude (비용 이점)
비용 최적화 팁
멀티모달 API는 텍스트만 쓸 때보다 비용이 훨씬 빠르게 올라갑니다. 이미지 하나가 수백에서 수천 토큰을 먹습니다. 3개월간 운영하면서 체감한 비용 절약 방법을 공유합니다.
- 이미지 리사이즈는 필수입니다. 위에서 만든
preprocess_image함수를 반드시 거치세요. 4000x3000 이미지를 1568x1176으로 줄이면 토큰이 절반 이하로 줄어듭니다. 영수증 OCR은 1024px이면 충분합니다. - GPT-4o의
detail파라미터를 활용하세요."detail": "low"로 설정하면 이미지를 512x512로 축소해서 처리하는데, 고정 85토큰만 소비합니다. 이미지 내용을 대략적으로만 파악하면 되는 경우에 유용합니다. - 불필요한 재호출을 캐싱으로 막으세요. 같은 이미지를 다시 분석할 일이 있으면 결과를 Redis나 로컬 DB에 저장해두세요. 이미지 해시를 키로 쓰면 됩니다.
- 배치 처리가 가능하면 묶어서 보내세요. 영수증 10장을 각각 API 호출하는 것보다, 한 번의 요청에 5장씩 묶어서 "다음 5장의 영수증을 각각 분석해줘"라고 보내는 게 오버헤드가 적습니다. 단, 한 요청에 이미지를 너무 많이 넣으면 정확도가 떨어지므로 5장 이하를 권장합니다.
cache_control: {"type": "ephemeral"}을 시스템 메시지에 추가하면 됩니다.
마무리 - 멀티모달 앱 확장 아이디어
이 글에서 만든 두 가지 앱(영수증 OCR, 버그 리포트)은 멀티모달 파이프라인의 시작점입니다. 같은 구조를 활용해서 확장할 수 있는 아이디어를 몇 가지 더 공유합니다:
- 명함 인식 + CRM 자동 등록: 명함 사진을 찍으면 이름, 회사, 직책, 연락처를 추출해서 Notion이나 HubSpot에 자동 등록
- 화이트보드 회의록 정리: 회의 후 화이트보드를 촬영하면 핵심 내용을 구조화된 텍스트로 변환
- 인테리어 견적 자동화: 현장 사진을 보내면 필요한 자재와 대략적인 견적을 산출
- 식품 영양 분석: 음식 사진을 찍으면 칼로리와 영양소를 추정
공통으로 들어가는 패턴은 동일합니다. 이미지 전처리 --> 프롬프트 설계 --> API 호출 --> JSON 파싱 --> 후속 작업(DB 저장, 알림, 외부 서비스 연동). 이 글에서 만든 preprocess_image 함수와 JSON 파싱 로직을 재사용하면, 새로운 멀티모달 앱을 만드는 데 핵심 로직 작성은 하루면 충분합니다.
마무리하며: 멀티모달 AI는 "이미지를 이해하는 AI"라는 기술 자체보다, 일상 업무의 수작업을 자동화할 수 있다는 점에서 가치가 있습니다. 영수증을 손으로 옮겨 적고, 스크린샷을 보면서 버그 리포트를 일일이 작성하던 시간을 돌려받으세요. 이 글의 코드를 그대로 복사해서 돌려보면 10분 안에 결과를 확인할 수 있습니다. 처음에는 "이걸로 뭘 하지?" 싶다가도, 하나 만들어보면 자동화할 게 계속 눈에 보이기 시작합니다. 그게 멀티모달 API의 진짜 매력입니다.