Lexer

Lexer (sözcük analizci) yazmayı öğrenirsin.

Lexer nedir?

Lexer (tarayıcı), kaynak kodu karakter dizisinden token akışına çevirir. Derleyicinin ilk aşamasıdır; boşlukları ve yorumları atar, anlamlı birimleri sayılar.

Her token bir tür ve değer taşır: NUMBER, IDENT, OP, EOF. Örneğin 42 + x üç token verir: sayı 42, işleç +, tanımlayıcı x. Lexer durum makinesi veya regex tabanlı yazılır. Hata durumunda (ör. geçersiz karakter) kullanıcıya satır ve sütun bilgisi verir. Çıktısı parser'a beslenir.

Token türleri

Token türleri kaynak dilin sözdizimine göre belirlenir. C benzeri bir dilde yaygın türler: sayılar (NUMBER), tanımlayıcılar (IDENT), işleçler (OP) ve dosya sonu (EOF).

Bazı lexerler anahtar sözcükleri (if, while) ayrı bir türle etiketler. Lexer her tokena satır ve sütun bilgisi ekler; hata iletileri bunu kullanır. Token türleri genellikle bir enum ile tanımlanır. Lexer'ın amacı yalnızca sözcuksel yapıyı tanımaktır; sözdizimsel yapı parser'ın işidir. Bu ayrım derleyiciyi modüler tutar.

Uygulama Tokenları yazdır

enum token_type { NUMBER, IDENT, OP, EOF_TOK } tanımla. void print_token(int type, const char *text) fonksiyonu tanımla; gövdesi printf("T%d:%s\n", type, text); olsun. main içinde dört token için çağır: (NUMBER, "42"), (IDENT, "x"), (OP, "+"), (EOF_TOK, "").

Örnek çözümü göster

#include <stdio.h>

enum token_type { NUMBER, IDENT, OP, EOF_TOK };

void print_token(int type, const char *text) {
    printf("T%d:%s\n", type, text);
}

int main(void) {
    print_token(NUMBER, "42");
    print_token(IDENT, "x");
    print_token(OP, "+");
    print_token(EOF_TOK, "");
    return 0;
}

Kendini test et

Lexer ne üretir?
- Token
- AST düğümü
- Sembol
- Assembly
Cevabı göster

Token — Lexer kaynak metni token akışına böler.

token_type enum'unu tamamla

enum token_type { NUMBER, IDENT, OP, ____ };

Cevabı göster

enum token_type { NUMBER, IDENT, OP, EOF };

Token türlerini eşle

NUMBER

Sayı sabiti
IDENT

Tanımlayıcı
OP

İşleç
EOF

Akış sonu

Sıradaki ders: Parser

Deneyiminizi Geliştiriyoruz

Çerez Tercihleri

Kesinlikle Gerekli Çerezler

Analitik Çerezler