cat unicode.md

N°039Il testo del mondoPseudocodice

U+1F600

Unicode, il codice che fa parlare il mondo (ed emoji)

Prima di Unicode, ogni lingua e ogni sistema usavano codifiche di caratteri diverse e incompatibili, e il testo straniero diventava spesso illeggibile. Nato nel 1991, Unicode assegna un numero unico a ogni carattere di ogni lingua, emoji comprese. Questo pezzo racconta lo sforzo invisibile che permette al mondo intero di scrivere insieme.

Anno
1991
Era
1990-1999
Linguaggio
Pseudocodice
Reperto
1 standard

Quando il testo si rompeva

Per capire Unicode bisogna ricordare un'epoca in cui il testo digitale era una torre di Babele rotta. I computer, alla base, conoscono solo numeri: per rappresentare le lettere, ogni carattere viene associato a un numero. Il problema è che, per decenni, non esisteva un accordo universale su quale numero corrispondesse a quale carattere. Esistevano decine di sistemi diversi, chiamati codifiche, spesso specifici per una lingua o per un produttore.

Le conseguenze erano una fonte continua di frustrazione. Un testo scritto su un sistema e aperto su un altro poteva trasformarsi in una sequenza di simboli incomprensibili: lettere accentate diventate geroglifici, caratteri strani al posto delle parole. Chi scriveva in italiano, con le sue lettere accentate, lo sperimentava di continuo; chi scriveva in lingue con alfabeti diversi, come il russo, il greco, l'arabo, ancora di più. E per lingue con migliaia di caratteri, come il cinese o il giapponese, la situazione era un incubo di standard concorrenti e incompatibili. Questo guazzabuglio di simboli illeggibili ha persino un nome, mojibake.

Il mondo digitale, che prometteva di connettere l'umanità, inciampava su un problema fondamentale: non riusciva a mettersi d'accordo su come scrivere. Serviva un sistema unico, universale, capace di contenere ogni carattere di ogni lingua del pianeta, presente, passata e futura. Un'ambizione enorme.

Un numero per ogni segno

Quel sistema cominciò a prendere forma nel 1991, con la nascita di Unicode, portato avanti da un consorzio di aziende e studiosi. L'idea fondante è di una semplicità maestosa: assegnare a ogni singolo carattere immaginabile un numero unico e universale, chiamato code point, valido ovunque e per sempre. La lettera A latina ha il suo numero, la à accentata il suo, il carattere giapponese あ il suo, e così via per ogni segno di ogni scrittura umana.

Questo separa nettamente due cose che prima erano confuse: l'identità di un carattere, cioè quale segno è, dalla sua rappresentazione fisica nei byte del computer. Unicode dice qual è il carattere; sistemi di codifica associati, come il diffusissimo UTF-8 — ideato da Ken Thompson e Rob Pike, gli stessi nomi che questo archivio incontra parlando di Unix — si occupano di come trasformare quei numeri in byte da memorizzare e trasmettere, in modo efficiente e compatibile.

L'impresa di Unicode è ciclopica e mai finita. Significa catalogare e codificare la scrittura di tutta l'umanità: alfabeti vivi e lingue morte, sistemi matematici, simboli tecnici, caratteri storici. È un lavoro di studiosi, linguisti e tecnici che continua ancora oggi, un tentativo paziente e rispettoso di non lasciare fuori nessuna cultura, nessuna lingua, nessun modo umano di mettere segni su una superficie.

E poi arrivarono le emoji

C'è un capitolo di questa storia che ha portato Unicode dalle stanze tecniche alla vita quotidiana di miliardi di persone: le emoji. Quelle piccole faccine e icone colorate che usiamo ogni giorno nei messaggi sono, tecnicamente, caratteri Unicode esattamente come le lettere dell'alfabeto. La faccina che sorride ha il suo numero universale, U+1F600, proprio come la A ha il suo. Quando mandi un'emoji, stai inviando un code point, e il dispositivo di chi riceve lo trasforma nel disegnino corrispondente.

Le emoji nacquero in Giappone e furono incorporate in Unicode a partire dal 2010, dando loro uno standard universale che permise di usarle attraverso piattaforme e dispositivi diversi. Da allora, decidere quali nuove emoji aggiungere è diventato un processo seguito con curiosità in tutto il mondo, e ogni nuova faccina o simbolo è, letteralmente, un nuovo carattere aggiunto allo standard che contiene la scrittura dell'umanità. Un fatto che ha qualcosa di poetico: lo stesso sistema che custodisce gli alfabeti antichi custodisce anche il modo in cui esprimiamo le emozioni in chat.

Perché custodirlo

Unicode merita una teca perché è una delle infrastrutture più invisibili e più importanti del mondo digitale. Ogni volta che leggi un testo su uno schermo, in qualsiasi lingua, ogni volta che un messaggio scritto in un paese viene letto correttamente in un altro, ogni volta che un'emoji arriva intatta, c'è Unicode che lavora dietro le quinte. È il fondamento silenzioso che permette al testo digitale di funzionare globalmente, senza più rompersi attraversando lingue e sistemi.

C'è una dimensione quasi civile in questo reperto. Unicode è uno sforzo di inclusione tecnica su scala planetaria: il tentativo deliberato di non lasciare nessuna lingua e nessuna cultura tagliata fuori dal mondo digitale. In un'epoca in cui la tecnologia rischia spesso di imporre una sola lingua o un solo modo di fare, Unicode rappresenta l'impegno opposto, paziente e poco celebrato, di far stare tutti dentro lo stesso standard, con pari dignità.

Custodire `U+1F600` significa apprezzare il lavoro immenso e dato per scontato che sta dietro un gesto banale come scrivere e leggere. Dietro ogni lettera accentata che arriva giusta, ogni nome straniero scritto correttamente, ogni faccina sorridente, c'è un consorzio che da decenni cataloga pazientemente la scrittura dell'umanità intera. Il reperto insegna che alcune delle conquiste più grandi sono quelle che non notiamo mai, perché funzionano così bene da essere diventate invisibili.

Punti chiave

  • Prima di Unicode esistevano decine di codifiche incompatibili: il testo straniero diventava spesso illeggibile (mojibake).
  • Nato nel 1991, Unicode assegna a ogni carattere di ogni lingua un numero unico e universale (code point).
  • Separa l'identità del carattere dalla sua rappresentazione in byte, gestita da codifiche come UTF-8 (Thompson e Pike).
  • È un'impresa mai finita: catalogare la scrittura di tutta l'umanità, lingue vive e morte comprese.
  • Le emoji sono caratteri Unicode a tutti gli effetti: 😀 è il code point U+1F600, aggiunte dal 2010.
  • È un'infrastruttura invisibile e uno sforzo di inclusione: far stare ogni lingua nello stesso standard.

Fonti