C++ 토큰 (Tokens)

토큰이란

숫자나 연산자를 비롯해서 우리가 한 단위(unit)로 생각하는 무언가를 나타내는 문자열이다. 표현 방식은 (kind, value)이고 대부분의 텍스트 분석에서 기초가 된다.

 

종류

부동소수점 리터럴 : 3.14, 0.274e2, 42등

연산자 : +, -, *, /, %

괄호 : (, )

 

토큰 구현

 

Token은 일종의 타입으로 변수를 정의하거나 값을 저장할 때 쓸 수 있으며, kind와 value 두 부분으로 이뤄진다. class 키워드는 '사용자 정의 타입'을 의미하며, 0개 이상의 멤버를 포함하는 타입을 정의한다.

Token을 정의하고 Token의 객체를 통해 멤버 접근 표기법인 객체_이름.멤버_이름을 사용해 멤버에 접근한다.

이처럼 복사 초기화, 대입 등 Token은 복사도 가능하다