[사내 해커톤] ocr + gpt를 이용한 식품 성분 분석 및 추천

* 상품 점보를 사진을 업로드 하면 자동으로 텍스트로 변환하여 상품에 대한 정보 요약

* 제품명 / 제조회사 / 제품유형 / 맛 / 용량 / 원료 / 칼로리 / 영양정보 로 추려서 보여줌

* 사용자의 상태를 선택하여 입력하면 섭취 권장 여부 및 이유를 고객에게 요약 후 보여줌

 

팀으로 이뤄서 한 해커톤 결과물

- 역시 프롬프트는 영어로 하니까 잘된다.

- OCR은 네이버 클로바를 썼다. 정말 잘된다!! (하지만 하루 100건 무료를 넘어서면 엄청난 과금이 기다리고 있다)

- streamlit은 이번에 처음 써봤는데, 다시는 쓰기 싫을 정도로 너무 제한적이다. (공식 문서도 부족하고, 버전마다 기능이 너무 다르다. html이 쉽고 좋다)

 

 

향후 발전해야 할 부분들

- 상황에 맞는 프롬프트가 많이 있어야 한다. (각종 병 ex: 성인별 / 당뇨 / 고혈압 식품에서 유발되는 모든 질병들)

- ORC의 경우 클로바 OCR을 썼지만 테서렉트 ocr 같은 모델 학습이 필요하다.

- 사진이 아닌 식품이름 검색만으로 답변이 떠야 한다.

- 다양한 제품군을 확인해 봐야 한다.

- LLM 파인튜닝을 한다면 더 좋아보인다. ( 식품 관련 데이터로 파인튜닝 )

 

 

끝