forum.boolean.name - Проблема с FastText

forum.boolean.name (http://forum.boolean.name/index.php)

- Библиотеки (http://forum.boolean.name/forumdisplay.php?f=28)

- - Проблема с FastText (http://forum.boolean.name/showthread.php?t=13478)

DeeJex

11.10.2010 20:12

Проблема с FastText

Некорректно отображается юникод. Точнее, отображается так, как он должен выглядеть в аскии.
Загружаю текст из текстового файла под юникодом:

Код:

While Not Eof(tmp_f)

        tmp_t = tmp_t + Chr(ReadByte(tmp_f))

Wend

Инклудю FastText_Unicode.bb, в LoadFont параметр кодировки указан правильно, в чем проблема?

MixailV

12.10.2010 11:28

Re: Проблема с FastText

1. Юникод строго в UTF8
2. Chr() работает только для ASCII.
3. ReadByte некорректно использовать, так как один кириллический символ в UTF8 занимает 2 байта (бывает и 3-4 байта)

Думаю выводы сделаешь сам )

DeeJex

12.10.2010 13:02

Ответ: Проблема с FastText

Хм.
Т.е. получать юникод-стринг из файла никак нельзя?

Цитата:

так как один кириллический символ в UTF8 занимает 2 байта

В примере курится string, в котором по два аскии на символ, почему тогда ReadByte->Chr не подходит, все равно будет большой нечитабельный стринг.

impersonalis

12.10.2010 13:51

Ответ: Проблема с FastText

Возможно, тебе поможет функция
WideCharToMultiByte
из Kernel32.dll
пример использования здесь:
http://forum.boolean.name/showthread.php?t=6234

tormoz

20.04.2012 01:44

Ответ: Проблема с FastText

Вложений: 1

Вложение 16671

Жека	20.04.2012 05:41

Ответ: Проблема с FastText

Кодировка интовым значением, какие варианты возможны?

Часовой пояс GMT +4, время: 19:21.