token

token - 与Python解析树一起使用的常量

源代码： Lib / token.py

该模块提供表示分析树（终端令牌）的叶节点的数值的常量。请参阅Grammar/GrammarPython发行版中的文件，了解语言语法上下文中名称的定义。名称映射到的特定数值可能会在Python版本之间发生变化。

该模块还提供了从数字代码到名称和一些功能的映射。这些函数镜像Python C头文件中的定义。

token.tok_name

字典将本模块中定义的常量的数值映射回名称字符串，从而允许生成更多可读的解析树表示。

token.ISTERMINAL(x)

终端令牌值返回true。

token.ISNONTERMINAL(x)

对于非终端标记值返回true。

token.ISEOF(x)

如果x是表示输入结束的标记，则返回true 。

令牌常量是：

token.ENDMARKERtoken.NAMEtoken.NUMBERtoken.STRINGtoken.NEWLINEtoken.INDENTtoken.DEDENTtoken.LPARtoken.RPARtoken.LSQBtoken.RSQBtoken.COLONtoken.COMMAtoken.SEMItoken.PLUStoken.MINUStoken.STARtoken.SLASHtoken.VBARtoken.AMPERtoken.LESStoken.GREATERtoken.EQUALtoken.DOTtoken.PERCENTtoken.BACKQUOTEtoken.LBRACEtoken.RBRACEtoken.EQEQUALtoken.NOTEQUALtoken.LESSEQUALtoken.GREATEREQUALtoken.TILDEtoken.CIRCUMFLEXtoken.LEFTSHIFTtoken.RIGHTSHIFTtoken.DOUBLESTARtoken.PLUSEQUALtoken.MINEQUALtoken.STAREQUALtoken.SLASHEQUALtoken.PERCENTEQUALtoken.AMPEREQUALtoken.VBAREQUALtoken.CIRCUMFLEXEQUALtoken.LEFTSHIFTEQUALtoken.RIGHTSHIFTEQUALtoken.DOUBLESTAREQUALtoken.DOUBLESLASHtoken.DOUBLESLASHEQUALtoken.ATtoken.OPtoken.ERRORTOKENtoken.N_TOKENStoken.NT_OFFSET

扩展内容

Module parserparser模块 的第二个示例显示了如何使用该symbol模块。