์๋ ํ์ธ์ ๊ตฌ๋ ์ ์ฌ๋ฌ๋ถ, ํน์ ๋ฌธ์ ํธ์ง์ ํด์ผ ํ๋๋ฐ ์๋ฃ๊ฐ ์ด๋ฏธ์ง ํ์ผ๋ง ์ ๊ณต๋์ด, ํ๋ํ๋ ๋ด์ฉ์ ๋ณด๊ณ ์ง์ ์ฎ๊ฒจ ์ ๋๋ผ ๊ณ ์ํ์ จ๋ ๊ฒฝํ์ด ์์ผ์ ๊ฐ์?
์ต๊ทผ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)๊ณผ ์ปดํจํฐ ๋น์ ๊ธฐ์ ์ ์ตํฉ์ ํตํด ๊ธฐ์กด์ ์ฐ์ ํจ๋ฌ๋ค์์ ํ์ ํ๊ณ ์๋ ๊ฐ์ด๋ฐ ๋ค์ํ ๊ธฐ์ ์ด ์์ฐ์ฑ๊ณผ ํจ์จ์ฑ์ ๋์ด๊ธฐ ์ํด AI ์๋ฃจ์ ์ ๋์ ํ๊ณ ์์ผ๋ฉฐ, ํนํ ๋ฌธ์ ์ค์ฌ์ ์ ๋ฌด ํ๊ฒฝ์์๋ ๋ฐ์ดํฐ ๋์งํธํ์ ์๋ํ์ ๋ํ ์์๊ฐ ๊ธ๊ฒฉํ ์ฆ๊ฐํ๊ณ ์์ต๋๋ค.
๊ทธ์ค์์๋ ๊ดํ ๋ฌธ์ ์ธ์(OCR) ๊ธฐ์ ์ AI ์ฐ์ ๋ด์์๋ ์ฃผ๋ชฉ๋ฐ๋ ๋ถ์ผ๋ก, ๋ฌธ์๋ฅผ ๋์งํธ ๋ฐ์ดํฐ๋ก ๋ณํํ๋ ๊ณผ์ ์ ์๋ํํ์ฌ ๊ธฐ์ ์ ๋น์ฆ๋์ค ํ๋ก์ธ์ค๋ฅผ ๋จ์ํํ๊ณ ์ด์ ๋น์ฉ ์ ๊ฐ์ ๊ฐ๋ฅํ๊ฒ ํฉ๋๋ค. ํนํ ๊ธ์ต, ๋ฌผ๋ฅ, ์๋ฃ ๋ฐ ๊ณต๊ณต๊ธฐ๊ด ๋ฑ ๋ฌธ์ ์์ ์ด ๋ง์ ์ฐ์ ์์๋ OCR ๊ธฐ์ ์ด ์ ๋ฌด ํจ์จํ์ ํต์ฌ ๋๊ตฌ๋ก ๋ถ์ํ๊ณ ์๋ ๊ฐ์ด๋ฐ, ์ ์คํ ์ด์ง๋ ๊ธฐ์กด OCR ๊ธฐ์ ์ ํ๊ณ๋ฅผ ๋์ด ๊ฐ์ฅ ๋น ๋ฅด๊ณ ์ ํํ๊ฒ ๋ฌธ์๋ฅผ ๋ถ์ํ๊ณ , ์ด๋ฅผ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)๋ก ์ฒ๋ฆฌํ ์ ์๋ ์ฐจ์ธ๋ OCR ๋ชจ๋ธ์ ๊ฐ๋ฐํ์ฌ ๋ณธ๊ฒฉ์ ์ธ ์ ๋ฌด ํ์ ์ ํ๊ธฐ์ ์ธ ์ ํ์ ์ ๋ง๋ จํ๊ณ ์์ต๋๋ค.
์ ์คํ ์ด์ง '๋คํ๋จผํธ ํ์(Document Parse, ๋ฌธ์ ๊ตฌ๋ฌธ ๋ถ์)'๋ ๊ธฐ์กด OCR ๊ธฐ์ ์์ ๋ช ํํ ์ธ์์ด ์ด๋ ค์ ๋ ์ฌ๋ฌ ์ด์ ๋ ์ด์์์ด๋ ํ ์ด๋ธ ๋ฑ์ ํฌํจํ ๋ณต์กํ ํํ์ ๋ฌธ์์์๋ ๊ฐ ๊ตฌ์กฐ์ ํ ์คํธ ์ ๋ณด๋ฅผ ์ ํํ ๋ถ์ํ์ฌ ๋ฐ์ดํฐ ์์ฐํ๋ฅผ ๊ฐ๋ฅํ๊ฒ ํ๋ ํน์ง์ ๊ฐ๊ณ ์์ผ๋ฉฐ, DOCX, PDF, PPTX, PNG ๋ฑ ์ ๋ฌด์ ์ฌ์ฉํ๋ 9์ข ์ ๋ฌธ์ ์ฒ๋ฆฌ๋ฟ๋ง ์๋๋ผ ์์ ์ธ์ ๋ฐ ์ด๋ฏธ์ง ์ถ์ถ๊ณผ ๊ฐ์ ์๋ก์ด ๊ธฐ๋ฅ์ ์ถ๊ฐ๋์ด ์ด๋ค ํ์์ ๋ฌธ์๋ HTML๊ณผ ๊ฐ์ ๊ตฌ์กฐํ๋ ํ ์คํธ ํ์์ผ๋ก ์ ํํด ๊ธฐ์ ์ด๋ ๊ธฐ๊ด์์ ์ค์ LLM ํ์ฉ ์ ๋ฐ๋ก ์ ์ฉํ ์ ์์ด ๋ณธ๊ฒฉ์ ์ธ ์ ๋ฌด ํ์ ํ์คํ์ ๊ธฐ์ฌ ํ ์ ์๊ฒ ๋์์ต๋๋ค.
๋ ์ด์์ ๋ฐ ํ ์ด๋ธ ๊ตฌ์กฐ, ์ฝํ ์ธ ๋ถ์ ๋ฑ ์ ํ์ฑ์ ์ธก์ ํ๋ ๋ชจ๋ ์งํ์์ AWS์ MS ๋ฅผ ํฌํจํ ๋น ํ ํฌ 5๊ฐ์ฌ์ ๊ด๋ จ ์๋น์ค์ ๋น๊ตํด 5% ์ด์ ๋์ ์ ์๋ฅผ ๋ฐ์์ผ๋ฉฐ, ์๋ ๋ฉด์์๋ 1๋ถ์ 100์ฅ์ ์ฒ๋ฆฌํ์ฌ ๊ฐ์ ๊ธฐ์ค์ ์ ์ฉํ AWS ํ ์คํธ๋ํธ(Texttract)์๋ 10๋ฐฐ, ๋ผ๋งํ์ค(LamaParse) ๋ณด๋ค๋ 5๋ฐฐ ๊ฐ๋ ๋น ๋ฅธ ๋ฅ๋ ฅ์ผ๋ก ์ฑ๋ฅ ๋ฉด์์๋ ์๋ฑํ ์ฐจ์ด๋ฅผ ๋ณด์ด๊ณ ์์ต๋๋ค. ์ด๋ฌํ ๊ธฐ์ ๋ ฅ์ ๋ฐํ์ผ๋ก ์ ์คํ ์ด์ง๋ ์ค์ ๋น์ฆ๋์ค์ ๋ฏธ์น๋ ์ํฅ๋ ฅ์ ํ๋ํด ๋๊ฐ๋ฉฐ AI ์ฐ์ ์ ์ง์์ ์ธ ์ฑ์ฅ๊ณผ ํจ๊ป ์ ๋ฌด ํ์ ์ ์ํ ํต์ฌ ์๋ฃจ์ ์ผ๋ก ์ฃผ๋ชฉ๋ฐ๊ณ ์์ต๋๋ค.
์ด๋ฒ 11์ ๋ด์ค๋ ํฐ์ ๋ง๋ฌด๋ฆฌ๋ก, ์ ์คํ ์ด์ง์ ๊ธฐ์ ์ด ๋ง๋ค์ด๋ธ ๊ฐ๋์ ์ธ ์คํ ๋ฆฌ๋ฅผ ๊ตฌ๋ ์ ๋ถ๊ณผ ํจ๊ป ๋๋๊ณ ์ ํฉ๋๋ค.
์ผ๋ง ์ ํ ์๊ฐ์ฅ์ ์ธ์ผ๋กํฐ ๊ฐ์ฌ ํ๊ธฐ๋ฅผ ์ ๋ฌ๋ฐ๊ฒ ๋์์ต๋๋ค. ์ต๊ทผ ์ธ๊ณต์ง๋ฅ ๊ด๋ จ ์ฑ ์ ์ ๋ฌผ๋ฐ์์ง๋ง, ์ข ์ด์ฑ ์ด๋ผ๋ ํ๊ณ๋ก ์ฑ ์ ์ ํ ์ ์์๊ณ ๊ทธ๋ฌ๋ ์ค ์ ์คํ ์ด์ง์ Document Parse๋ฅผ ํ์ฉํ๋ฉด์ ๊ทธ์ ์ผ์์ ํ์ ์ด ์ฐพ์์์ต๋๋ค. ์ข ์ด์ฑ ์ ๋ด์ฉ์ ์ ๊ทผ์ฑ ๋์ HTML๋ก ๋ณํํด ์คํฌ๋ฆฐ ๋ฆฌ๋๋ฅผ ํตํด ์ฑ ์ ์๋ฒฝํ ์ฝ์ ์ ์๋๋ก ์ง์ํ์ต๋๋ค. ๋จ์ํ ๊ธฐ์ ์ด์์ ๋ณํ๋ฅผ ๊ฐ์ ธ์จ ์ ์คํ ์ด์ง์ Document Parse ๊ฒฝํ์ ๊ทธ์๊ฒ ํ์ต์ ๊ธฐํ์ ์๋ฆฝ์ ํ์ ๋์ฐพ์์ฃผ๋ ๊ธ์ ์ ์ธ ๊ณ๊ธฐ๋ฅผ ๋ง๋ จํด ์ฃผ์์ต๋๋ค.
์ด ๊ฐ๋ ์คํ ๋ฆฌ๋ ๊ธฐ์ ์ด ๋จ์ํ ํจ์จ์ฑ์ ๋์ด ์ถ์ ๊ทผ๋ณธ์ ์ผ๋ก ๋ณํ์ํฌ ์ ์๋ ํ์ ์ง๋ ๋ค๋ ์ค์ํ ๋ฉ์์ง๋ฅผ ์ ํฉ๋๋ค. ์ ์คํ ์ด์ง๋ ๋ชจ๋ ์๋ฃจ์ ์ด ์๋ก์ด ๊ฐ๋ฅ์ฑ์ ๋ฌธ์ ์ด๊ณ , ์ธ์์ ๊ธ์ ์ ์ธ ๋ณํ๋ฅผ ๊ฐ์ ธ์ฌ ์ ์๋ค๋ ๋ฏฟ์์ผ๋ก ๋์๊ฐ๊ณ ์์ต๋๋ค.
์์ผ๋ก๋ ๊ธฐ์ ๋ก ์ธ์์ ํ์ ํ๋ ์ฌ์ ์ ์ฌ๋ฌ๋ถ์ด ํจ๊ปํด ์ฃผ์๊ธธ ๋ฐ๋๋๋ค!
โถ ๋ณต์กํ ๋ฌธ์๋ OKโฆ์ ์คํ ์ด์ง, ์ฐจ์ธ๋ OCR โ๋ํ๋จผํธ ํ์คโ ๊ณต๊ฐ
โถ ๋ฐ์์ ์ ์คํ ์ด์ง ็พ ๋ํ "S&P 500 ๊ธฐ์ ๋ค, ์๋ผ ๋ชจ๋ธ ์ฐ๋๋ผ" [์ผ๋ฌธ์ผ๋ต]
โถ ์ ์คํ ์ด์ง โ๊ธฐ์ ์ ํ์ํ ๊ธฐ์ ์ ๋ฉํฐ๋ชจ๋ฌ ์๋ ํ์คํ LLM
์ธ๊ณต์ง๋ฅ(AI) ์ ๋ฌธ ๊ธฐ์ ์ ์คํ ์ด์ง๊ฐ ๋ฐํํ๋ ๋ด์ค๋ ํฐ์ ๋๋ค.