UTF-8 işleme

UTF-8 dize işlemeyi öğrenirsin.

UTF-8 kod çözme

UTF-8 kod çözme, bayt dizisini Unicode kod noktasına çevirir. ASCII bayt (0-127) tek başına bir karakterdir. İki baytlık dizi ise 110xxxxx 10xxxxxx biçimindedir; ilk baytın alt 5 biti ile ikinci baytın alt 6 biti birleştirilir.

Örnek: 'ü' harfının UTF-8 baytları 0xC3 0xBC'dir. Çözülüş: ((0xC3 & 0x1F) << 6) | (0xBC & 0x3F) = 0x03 << 6 | 0x3C = 0xFC = 252. Yani 'ü''nün Unicode kod noktası U+00FC'dür.

Kod çözücü işlev

Bir kod çözücü işlevi imzası: unsigned decode_utf8(const char *s). Baytları unsigned char'a cast ederek işliyoruz; böylece işaret genişlemesini önleriz.

Eğer b[0] < 0x80 ise ASCII; doğrudan b[0] döner. Yoksa iki baytlık dizi: ((b[0] & 0x1F) << 6) | (b[1] & 0x3F). Daha uzun diziler üç veya dört baytla benzer şekilde çözülür; bu derste iki bayta odaklanıyoruz. Çıktıyı printf("%u", cp) ile yazdırırız.

Uygulama UTF-8 kod noktası çöz

unsigned decode_utf8(const char *s) işlevini yaz: const unsigned char *b = (const unsigned char *)s;; b[0] < 0x80 ise b[0] döndür; yoksa ((b[0] & 0x1F) << 6) | (b[1] & 0x3F) döndür. main'de unsigned cp = decode_utf8("ü"); ve printf("codepoint: %u\n", cp);.

Örnek çözümü göster

#include <stdio.h>

unsigned decode_utf8(const char *s) {
    const unsigned char *b = (const unsigned char *)s;
    if (b[0] < 0x80) return b[0];
    return ((b[0] & 0x1F) << 6) | (b[1] & 0x3F);
}

int main(void) {
    unsigned cp = decode_utf8("ü");
    printf("codepoint: %u\n", cp);
    return 0;
}

Kendini test et

UTF-8 maskeleme

0x1F

İlk bayt maske
0x3F

Devam bayt maske
<< 6

Kaydırma
0x80

ASCII sınırı
0xC3 baytı kaç bitlik kod noktası parçası taşır?
- 5 bit
- 6 bit
- 7 bit
- 8 bit
Cevabı göster

5 bit — İlk bayt & 0x1F ile 5 bit alınır.

Devam bayt maskele

unsigned cp = ((b[0] & 0x1F) << 6) | (b[1] & ____);

Cevabı göster

unsigned cp = ((b[0] & 0x1F) << 6) | (b[1] & 0x3F);

Sıradaki ders: Özet - Unicode

Deneyiminizi Geliştiriyoruz

Çerez Tercihleri

Kesinlikle Gerekli Çerezler

Analitik Çerezler