C++ 토큰 (Tokens)
토큰이란 숫자나 연산자를 비롯해서 우리가 한 단위(unit)로 생각하는 무언가를 나타내는 문자열이다. 표현 방식은 (kind, value)이고 대부분의 텍스트 분석에서 기초가 된다. 종류 부동소수점 리터럴 : 3.14, 0.274e2, 42등 연산자 : +, -, *, /, % 괄호 : (, ) 토큰 구현 Token은 일종의 타입으로 변수를 정의하거나 값을 저장할 때 쓸 수 있으며, kind와 value 두 부분으로 이뤄진다. class 키워드는 '사용자 정의 타입'을 의미하며, 0개 이상의 멤버를 포함하는 타입을 정의한다. Token을 정의하고 Token의 객체를 통해 멤버 접근 표기법인 객체_이름.멤버_이름을 사용해 멤버에 접근한다. 이처럼 복사 초기화, 대입 등 Token은 복사도 가능하다
2022. 7. 21.