Kodowanie znaków: ASCII, UNICODE, UTF - co to znaczy? | Blog FlyNerd.pl (2023)

Ucząc się programować, prędzej czy później natrafisz na dziwne krzaki, które naprowadzą Cię na nowy koncept –kodowanie znakówLub po prostu ASCII/UNICODE.
Co nas dzisiaj czeka?

• system binarny
• standard kodowania znaków
• Kod ASCII
• Tabela ASCII
• ANSI i ISO
• Unikod
• kodowanie UTF-8
• UTF-16
• UTF-32

Zacznijmy od definicji: czym jest kodowanie znaków?

system binarny

Musimy zacząć od podstaw, co prowadzi nas z powrotem do tego, jak działa pamięć komputera. Komputery przechowują informacje za pomocą zer i jedynek. tak to nazywamysystem binarnylub binarne. Podstawowe pojęcia związane z tym systemem toMała ilośćIProblem.

Mała ilość– to najmniejsza jednostka w świecie cyfrowym, która odpowiada stanowi jednostki pamięci. Ten bit to zero lub jeden.

Wywoływana jest sekwencja oktetów (tj. zer i/lub jedynek).Bajt(Bajt).
1 bajt = 8 bitów

ProblemOferuje do 256 różnych kombinacji bitów. Pozwala to na przechowywanie liczb od 0 do 255 w systemie binarnym. innymi słowyKażdy bajt to liczba z przedziału od 0 do 255, ale zapisanych zerami i jedynkami, np. B. 00000000 to zero, a 00000001 to jeden. Oboje piszemy jako 00000010. Dlaczego? Odczytujemy stan bitów od prawej do lewej, przy czym następna pozycja jest równa następnej potędze dwójki. Zobacz przykład:

A litery?
Liczby binarne można również interpretować jako litery. Na przykład 0100 0001 to liczba dziesiętna 65, która jest interpretowana przez komputer i wyświetlana jako duża litera A.

W Pythonie możemy użyć metodyCharakter()

>>>Chrom (65)
'A'
>>>Chrom (66)
'B'
>>>Chrom (97)
'A'
>>>Chrom (98)
'A'

i metodyKomenda()Poznaj cyfry odpowiadające literom

>>>zamówienie('A')
65
>>>zamówienie('a')
97

Inne języki są podobne, takie jak Ruby

Podczerwień >65.chr
'A'
Podczerwień >'a'.zamówienie
97

lub coś podobnego w JavaScript -kod znakuIPrzez CharCode.

>'A'.charCodeAt(0);
65
>String.fromCharCode(97,98,99);
'ABC'

Jak dotąd wszystko wygląda dobrze.

Tylko jedno pytanieSkąd wiesz, która cyfra odpowiada której literze?

standard kodowania znaków

Aby ułatwić interpretację liczb binarnych, stworzono alternatywne szyfry zwane standardami. Istnieją różne standardy kodowania znaków. może to słyszałeśUnikodAle wcześniej byli inni.

Kod ASCII

Pierwszym szeroko rozpowszechnionym standardem kodowania był ASCII. Ponieważ Amerykański Narodowy Instytut Standardów (standard amerykański), który ma swoje korzenie w kodach telegraficznych.

Tablica znaków ASCII to tablica zawierająca 128 znaków (notacja 7-bitowa), w tym znaki specjalne, takie jak wielkie i małe litery oraz spacje. Jeśli chcesz odnieść się do konkretnego znaku, musisz wpisać jego numer w tabeli, np. „A” to dobrze znana liczba 65 podana w systemie binarnym100 0001.

Z biegiem czasu okazuje się, że ASCII nie jest doskonały. Został stworzony na podstawie języka angielskiego bez uwzględnienia znaków innych języków, dlatego znaki polskiego dialektu lub chińskie znaki nie mogą być zakodowane w ASCII.

Jednak standard ASCII stał się wzorem dla kolejnych standardów. Możesz zauważyćPierwsze 127 znaków jest spójne w innych standardachW tym wpisie są one zatem określane w literaturze jako rozszerzenia ASCII.

Tabela ASCII
- Znaki dziesiętne, szesnastkowe, binarne, ósemkowe i zakodowane w tej kolejności

Tabela znaków: Pierwsza część zawiera głównie znaki specjalne. Dalej widzimy przyporządkowanie kodów ASCII - litery np. A - dziesiętna: 65, szesnastkowa: 41, binarna: 100 0001.

Tabela kodów ASCII

ANSI i ISO

Spróbuj pisać znaki diakrytyczne w innych językach, aby rozwiązać ten problem.Tabela ASCII rozszerzona do 256 znaków, co osiągnięto dzięki zastosowaniu 8-cyfrowego systemu numeracji zamiast zaledwie 7 cyfr (standardy Microsoft Windows 1250 i standardy ISO 8859 ECMA).

Jednak 256 wciąż nie wystarczyło, aby objąć wszystkie znaki specjalne występujące we wszystkich językach, dlatego Microsoft opracował osobne wersje tablic znaków dla różnych grup językowych, tak zwane strony kodowe.Strona kodowa ANSI). Jak wspomniałem wcześniej, pierwsze 128 znaków jest opartych na ASCII, a reszta jest wymagana do napisania języka, którego dotyczy określona strona kodowa.

Stronom kodowym przypisywane są specjalne numery, np. B. Windows-1250 dla standardu środkowoeuropejskiego, Windows-1251 dla cyrylicy, Windows-1252 dla Europy Zachodniej, Windows-1253 dla języka greckiego i Windows-1256 dla języka arabskiego.

Ciekawostka: Windows-1252 jest prawdopodobnie najczęściej używanym 8-bitowym kodowaniem znaków na świecie. We wrześniu 2019 r. 0,6% witryn korzystało z systemu Windows-1252, ale jednocześnie 2,9% korzystało z ISO 8859-1 (0,6% z 1000 najpopularniejszych witryn), co jest odrębnym kodowaniem zgodnie z domyślnym HTML5. Oznacza to, że obecnie 3,5% witryn nadal korzysta z systemu Windows-1252kodowanie ANSI.

Wydaje się, że wystarczy wybrać odpowiedni język, a problem z kodowaniem znaków zniknie.

Ale co, jeśli musisz wstawić symbole z innego języka do tekstu napisanego w jednym języku?Na przykład w tekście angielskim chcemy uwzględnić znaki specjalne, takie jak znaki chińskie i greckie.

Innym problemem jest to, że istnieje wiele równoległych standardów. Dopasowuje stronę kodową ANSI (tylko nazwa, nie określona przez).standard amerykański) jest normą odniesieniaISO 8859, częściowo zgodny z ANSI, ale nadal zapisuje w jednym systemie i może powodować błędy odczytu w innym.

Ile liter ma polski alfabet?

Jeśli przyjrzymy się uważnie, podstawowy alfabet angielski składa się z 26 liter (podstawowy alfabet ISO alfabetu łacińskiego). Język polski używa 32 alfabetów zawierających te same litery co angielski (oprócz Q, V, X) oraz 9 symboli dialektycznych.

Kodowania dla polskich znaków można znaleźć na stronie kodowej Windows 1250 lub cp-1250, np. B. czeski, słowacki lub węgierski. Odpowiednikiem Windows-1250 w standardzie ISO jest ISO 8859-2. Niestety nie są w 100% kompatybilne. Zresztą, przekonaj się sam.

Zakoduj polskie litery ze znakami diakrytycznymi w standardach Windows-1250 i ISO 8859-2:

Jak widać strony językowe nie rozwiązują wszystkiego, chociaż przybliżają nas do rozwiązania.

Unikod

Otrzymujemy UNICODE -Standard Unicode.

Historia pokazała potrzebę jednego, spójnego systemu kodowania znaków, który obejmowałby wszystkie możliwe symbole występujące w językach świata. Tworzy inną tabelę, inny standardUnikod.

Koncepcja Unicode pojawiła się w 1988 roku, ale prace nad jej oficjalnym wydaniem trwały trzy lata. Oryginalny Unicode składał się z 7161 znaków (w tym tablica znaków ASCII 127), podczas gdy najnowsza wersja z maja 2019 r. to repozytorium do 137994 znaków. Nie jest to bynajmniej zamknięta grupa, a liczba postaci stale rośnie.

Mały fragment tabeli Unicode przedstawiający polską literę „±”
Przypisano wartość 0×105 (U+0105).

Powiedzieliśmy wcześniej, że 8 bitów pozwala na 256 kombinacji, więc 256 znaków można zakodować za pomocą 1 bajtu.

Jak więc przechowywać 137994 znaków UNICODE?
Po prostu użyj więcej bajtów. Istnieje kilka sposobów kodowania tekstu, czyli zamiany wartości liczbowych z tablicy Unicode na postać bitową. Są to kodowania UTF:UTF-8, UTF-16iUTF-32.

kodowanie UTF-8

W UTF-8 znaki nie mają stałej długości bitowej, zajmują od 1 do 4 bajtów. Kodowanie UTF-8 jest zgodne z ASCII - pierwszy znak Unicode, czyli 127 znaków z tablicy ASCII, jest zakodowany w jednym bajcie. Reszta jest zapisywana na przemian w dwóch, trzech, czterech, pięciu i sześciu bajtach. UTF-8 to najbardziej ekonomiczny i popularny sposób zapisywania wartości w tabeli Unicode w bitach.

Znaki polskiego dialektu są zakodowane w 2 bajtach w UTF-8

Jest też cała tablica znaków specjalnych, jak np. „symbole” Unicode zajmujące pozycje U+2600-26FF (są one pisane inaczej (!) w zależności od kodowania - utf-8, utf-16 lub utf-32), np. B. ☂ , ☔, ♥, ♡, ☸ (o Kubernetes! - żart 😛)

Skąd się biorą emotikony?
Znaki graficzne, ideogramy, tzw. emotikony, pojawiły się po raz pierwszy w Japonii. Dzięki rozprzestrzenianiu się mediów społecznościowych pierwszy emoji Unicode 6.0 został wprowadzony w 2010 roku, zakodowany jako U + 1F600-1F64F. Obecnie są one obsługiwane w różny sposób i mogą wyglądać inaczej w zależności od miejsca przeglądania (urządzenie, przeglądarka lub aplikacja - Facebook, Twitter itp.).

Oryginalne i kolorowe emotikony

UTF-16

Znaki w UTF-16 wymagają 2 lub 4 bajtów. Pierwsza część tabeli Unicode jest zakodowana tylko 2 bajtami, następna część jest zakodowana 4 bajtami. Podobnie jak UTF-8, UTF-16 ma zmienną długość symbolu, ale jest mniej złożony i dlatego można go opisać jako kompromis między UTF-8 i UTF-32. Używany głównie do kodowania języków azjatyckich.

UTF-32

UTF-32 używa stałej długości 32 bitów, czyli 4 bajty na znak. Wadą jest to, że zużywa dużo pamięci, ponieważ każdy znak ma zawsze cztery bajty.

Wielka litera A, która zajmuje 65. miejsce w tabeli, oznacza rekord00000000 00000000 00000000 0100 0001w systemie binarnym. Dla porównania: w UTF-8 wygląda to tak:0100 0001.

W przypadku najpopularniejszych znaków (np. pierwszych 128 znaków ASCII) bajty są marnowane, ponieważ co najmniej połowa bitów pozostaje zerem. Niepotrzebnie zwiększa rozmiar pisma znaków. Z drugiej strony każdy znak ma taką samą długość 4 bajtów, co ułatwia wyszukiwanie określonego symbolu w łańcuchu. Ze względu na swoją długość UTF-32 nie jest bardzo powszechnym systemem i jest używany głównie w pamięci głównej.

Uwaga: trochę prywatności!

Czy podoba Ci się FlyNerd? Od czasu do czasu można zobaczyć takie postyPrzewodnik po interfejsie użytkownikaMimo toWymagania dla początkujących programistów Pythona?

Niedługo mam urodziny i możesz zrobić mi i Alexowi prezent urodzinowy.

Alex urodził się w czerwcu w rodzinie dobrych przyjaciół i sąsiadów, którzy zawsze byli dla mnie wzorem (Magda jest onkologiem dziecięcym, a Paweł pracuje w bardzo bliskiej mi organizacji - Stowarzyszeniu Otwarte Klatki). jestem ciocią!

W dniu, w którym Alex miał pięć tygodni, zdiagnozowano u niego rdzeniowy zanik mięśni typu I (SMA I), stan, który do niedawna nie budził nadziei. Jednak dzięki szybkiej reakcji rodziców jest już na lekach i wymaga stałej rehabilitacji. Czekamy też na kosztowną, ale skuteczną terapię genową.

Możesz okazać mi swoją miłość, robiąc coś dobrego dla Alexa i dając mi „prezent urodzinowy”! ❤️