31.5. token — Python 解析木と共に使われる定数
このモジュールは解析木の葉ノード(終端記号)の数値を表す定数を提供します。言語の文法のコンテキストにおける名前の定義については、
Python ディストリビューションのファイル Grammar/Grammar を参照してください。名前がマップする特定の数値は Python のバージョン間で変わります。
このモジュールは、数値コードから名前へのマッピングと、いくつかの関数も提供しています。関数は Python の C ヘッダファイルの定義を反映します。
-
token.tok_name
辞書はこのモジュールで定義されている定数の数値を名前の文字列へマップし、より人が読みやすいように解析木を表現します。
-
token.ISTERMINAL(x)
終端トークンの値に対して真を返します。
-
token.ISNONTERMINAL(x)
非終端トークンの値に対して真を返します。
-
token.ISEOF(x)
x が入力の終わりを示すマーカーならば、真を返します。
token の定数一覧:
-
token.ENDMARKER
-
token.NAME
-
token.NUMBER
-
token.STRING
-
token.NEWLINE
-
token.INDENT
-
token.DEDENT
-
token.LPAR
-
token.RPAR
-
token.LSQB
-
token.RSQB
-
token.COLON
-
token.COMMA
-
token.SEMI
-
token.PLUS
-
token.MINUS
-
token.STAR
-
token.SLASH
-
token.VBAR
-
token.AMPER
-
token.LESS
-
token.GREATER
-
token.EQUAL
-
token.DOT
-
token.PERCENT
-
token.BACKQUOTE
-
token.LBRACE
-
token.RBRACE
-
token.EQEQUAL
-
token.NOTEQUAL
-
token.LESSEQUAL
-
token.GREATEREQUAL
-
token.TILDE
-
token.CIRCUMFLEX
-
token.LEFTSHIFT
-
token.RIGHTSHIFT
-
token.DOUBLESTAR
-
token.PLUSEQUAL
-
token.MINEQUAL
-
token.STAREQUAL
-
token.SLASHEQUAL
-
token.PERCENTEQUAL
-
token.AMPEREQUAL
-
token.VBAREQUAL
-
token.CIRCUMFLEXEQUAL
-
token.LEFTSHIFTEQUAL
-
token.RIGHTSHIFTEQUAL
-
token.DOUBLESTAREQUAL
-
token.DOUBLESLASH
-
token.DOUBLESLASHEQUAL
-
token.AT
-
token.OP
-
token.ERRORTOKEN
-
token.N_TOKENS
-
token.NT_OFFSET