차례:
정의-토큰 화는 무엇을 의미합니까?
토큰 화는 일련의 문자열을 단어, 키워드, 문구, 기호 및 토큰이라는 기타 요소와 같은 조각으로 분리하는 행위입니다. 토큰은 개별 단어, 문구 또는 전체 문장 일 수 있습니다. 토큰 화 과정에서 문장 부호와 같은 일부 문자는 삭제됩니다. 토큰은 구문 분석 및 텍스트 마이닝과 같은 다른 프로세스의 입력이됩니다.
토큰 화는 컴퓨터 과학에서 사용되며 어휘 분석 프로세스에서 큰 역할을합니다.
Techopedia는 토큰 화를 설명합니다
토큰 화는 몇 가지 단계를 수행하여 토큰을 분리하기 위해 주로 간단한 휴리스틱에 의존합니다.
- 토큰 또는 단어는 공백, 문장 부호 또는 줄 바꿈으로 구분됩니다.
- 공백이나 문장 부호는 필요에 따라 포함되거나 포함되지 않을 수 있습니다
- 연속 문자열 내의 모든 문자는 토큰의 일부입니다. 토큰은 모든 영문자, 영숫자 또는 숫자로만 구성 될 수 있습니다.
토큰 자체는 분리 자일 수도 있습니다. 예를 들어, 대부분의 프로그래밍 언어에서 식별자는 공백없이 산술 연산자와 함께 배치 될 수 있습니다. 이것이 단일 단어 또는 토큰으로 보이지만 언어의 문법은 실제로 수학 연산자 (토큰)를 구분 기호로 간주하므로 여러 토큰이 묶여 있어도 수학을 통해 분리 할 수 있습니다 운영자.
