차례:
정의-어휘 분석이란 무엇입니까?
어휘 분석은 언어학에 적용되는 것과 매우 유사한 방식으로 컴퓨터 과학에 적용되는 개념입니다. 기본적으로 어휘 분석은 문자 또는 소리 스트림을 의미있는 구문을 나타내는 단위 집합으로 그룹화하는 것을 의미합니다. 언어학에서는 구문 분석이라고하며 컴퓨터 과학에서는 구문 분석 또는 토큰 화라고 할 수 있습니다.
Techopedia는 어휘 분석을 설명합니다
컴퓨터 과학에서 어휘 분석의 개념은 어휘 분석이 스트림을 "lexemes"로 나누고 여기서 토큰은 기본 의미 단위를 나타냅니다. 토큰은 언어 컴파일러가 올바른 컴퓨팅 명령을 구현하기 위해 돌아가서 분리해야하는 방식으로 함께 묶여 있습니다. 기본적으로 사람과 컴퓨터는 어휘 분석을 수행하지만 컴퓨터는 다르게 분석하고 훨씬 더 기술적 인 방식으로 수행합니다. 컴퓨터가 어휘 분석을 수행하는 방식은 인간에게 투명 할 필요는 없으며 컴퓨팅 시스템에 프로그래밍하면됩니다. 컴퓨터 과학에서 어휘 분석을 수행하는 프로그램을 종종 어휘 분석기, 토크 나이저 또는 스캐너라고합니다.
