Traitement informatique des jeux de caractères

Présentation

• Ce site est en premier lieu consacré au cours GIM du master Plurital (universités Paris-III, Paris-X et INaLCO).
  Il a aussi pour ambition de constituer une ressource présentant un choix de problèmes rencontrés dans la pratique,
  et proposant des solutions.
  
  En tant que cours, il s'adresse à des étudiants linguistes, confrontés aux difficultés qu'éprouvent les ordinateurs à échanger des textes dans des langues différentes - que ce soit des corpus, des pages web ou de simples méls. Ces difficultés ont pour origine des choix techniques fondamentaux, qui sont rarement explicités à l'usage des informaticiens eux-mêmes et encore plus rarement à l'intention des profanes. Or, ces choix n'ont rien de mystérieux, ils relèvent d'une problématique facile à saisir et d'un intérêt certain, surtout pour des linguistes. Enfin, le standard Unicode, en voie de généralisation, apporte une solution qu'on peut espérer définitive à ces difficultés.
  
  D'autre part, l'explosion de la communication sur Internet, favorisée par l'adoption d'Unicode, alliée à la puissance et aux capacités typographiques des ordinateurs modernes, offre à la pratique du multilinguisme sur ordinateur un champ chaque jour plus étendu. Pour en profiter pleinement, il est donc plus que jamais utile de comprendre les enjeux de la rubrique Encodage du texte !
  
  
• Ce cours se donne les buts suivants :
  1. Comprendre la nature des problèmes posés par la représentation des systèmes d'écriture dans un ordinateur
     (codage des caractères dans les fichiers, affichage à l'écran et saisie au clavier)
     
  2. Connaître les principales solutions disponibles (codages sur 8 bits comme Latin-1, format UTF-8 d'Unicode).
     Unicode fera l'objet d'une attention particulière.
     
  3. Savoir mettre en œuvre une gamme d'outils dans les situations les plus fréquemment rencontrées en pratique.
     
     

Plan d'ensemble

1. Introduction et soubassement technique,
   • Nature de l'information : Bits, Octets, Caractères, le code ASCII à 7 bits
   • Problèmes matériels (processus de lecture, d'écriture, de transmission).
     


2. Les tables sur 8 bits
   • Extensions du code ASCII
     
   • Variations suivant les plates-formes
   • Diversité géographique
     


3. Unicode
   1. Principe, format UTF-8
   2. Problèmes d'écriture bidirectionnelle, de tri alphabétique, de caractères combinés
      
      
4. Exemples de mise en œuvre en divers langages de programmation
   
   

Plan de marche 2011-2012

1. 04/10 - Cours 1 : Des octets au code ASCII
2. 11/10 TPs 1
   
   
3. 18/10 - Cours 2 : Caractères, Glyphes et Polices
   Problèmes généraux du texte sur machine :
   saisie, sauvegarde, affichage, transmission
4. 25/10 - TPs 2
   
   -------- 01/11 Toussaint : férié --------
   
   
5. 08/11 - Cours 3 : Codes sur 8 bits
   Histoire de la normalisation ASCII (89)
   Idée des ASCII étendus (extensions européennes : lettres diacritisées
   et extensions différentes : arabe, hébreu, etc.)
   et des variations selon les plateformes.
   
   -------- 15/11 Ni cours ni TP : absence simultanée des deux enseignants --------
   
   
6. 22/11 - TPs 3
   
   
7.  29/11 - Cours 4 : Unicode (1) 
   Principe - format UTF-8 
8. 06/12 - TPs 4
   


9. 13/12 - Cours 5 : Unicode (2) 
   Algorithme droite-gauche, ordre alpha, caractères combinés
   
   -------- Vacances de Noël --------
   
   
10. 03/01/2012 : TPs 5
    
11. 10/01/2012 : TPs 6
    
    le Cours 6 : Exemples de mise en œuvre
    Programmation en C et en JavaScript
    est supprimé
    
    
12. Examen entre le 16 et le 28 janvier.