enhet i text eller programkod

Inom syntaxanalys delas en text eller ett program med hjälp av en s.k. tokeniserare upp i en följd av informationsbärare, som vanligen utgörs av ord men även av förkortningar och skiljetecken.

Termen token används emellanåt oöversatt i svenskan i den här betydelsen. Om man nu måste göra det får termen lämpligen följande böjning: ”ett token, flera token”. För att slippa bestämda former som ”toknet” och ”toknen” använder man omskrivning: ”detta token”, ”dessa token”.

stafett, igenkänningstecken