[Source82]

Hallo zusammen!

Kurze Erklärung:
Meine Anwendung kann Unicode und normale ANSI Dateien lesen. Schreiben
theoretisch auch, aber hier habe ich folgendes Problem:
Einige der Textdateien werden auch mit anderen Programmen geteilt,
die nicht UNICODE fähig sind. Daher kann ich nicht blind jede Datei
als UNICODE speichern.

Da ich es aber bei einigen Dateien tun muss (vor allem wenn z.B. chinesische
oder kyrillische Zeichen verwendet werden), würde ich gerne wissen, wie
es am sinnvollsten zu realisieren ist.

Meine Idee:
Den zu schreibenden String auf das Vorhandensein von Unicode-Zeichen
überrüfen und die Datei nur dann als Unicode speichern.
Hier stellt sich nur die Frage, ab wann man ein Zeichen eindeutig als Unicode
erkennt?

Bin für jede Hilfe dankbar. Vielleicht hat ja auch jemand einen besseren
Vorschlag für die Lösung?

Danke
Markus

P.S.: Anwendung basiert auf MFC und VS 8.0

[Rika]

Nimm UTF-8.

[Source82]

Hi Rika!

Danke für die Antwort, aber UTF-8 ist auch ein Mehrbyte-Zeichensatz, was
trotz allem Probleme mit rein auf ASCII basierenden Anwendungen macht.
(Ich beziehe mich hier nur auf das Lesen von Dateien).

Danke
Markus

[Rika]

Du wirst nie ordentlich Unicode und ANSI/ASCII verbinden können. Schon allein deshalb nicht, weil eine ANSI-Codeseite nur 256 Zeichen umfasst, aber eine Unicode-BMP 65536 Zeichen.

Deshalb: Schreibe Unicode so, daß es bei ASCII-Anwendungen keine Probleme macht. Und genau dafür ist UTF-8 gedacht.

[Source82]

Das es "halbwegs" ordentlich funktioniert ist aber die Aufgabenstellung.
Wenn es nur nach mir ginge, würde ich alles in Unicode wegspeichern und gut is.
Aber es soll nun mal so sein, dass Dateien, die nicht unbedingt Unicode sein
müssen auch nicht als solche gespeichert werden sollen.

Die technischen Grundlagen hinter den Kodierungsverfahren sind mir auch
bekannt, nur suche ich eben nach einer Lösung, Dateien die rein in
ASCII dargestellt werden könnten auch als solche zu speichern. Meine Idee
war ja, vor dem Speichern zu überprüfen, ob Unicode verwendet werden
muss oder nicht.

Hast du vielleicht eine Lösung für dieses Problem. Ein CString Objekt auf
Unicode-Zeichen zu überprüfen?

Danke
Markus

[FaceItReal]

@Source82: um als erstes deine Frage zu beantworten: prüfe ob das Unicodezeichen (WORD) > 255 ist, wenn ja -> Unicode.

Bist du dir sicher, dass deine anderen Programme vlt nicht doch Unicode lesen können? Schreibst du den "Unicode-Header" mit in die Datei?

[Rika]

Zitat

Das es "halbwegs" ordentlich funktioniert ist aber die Aufgabenstellung

Dann musst du halt zählen.
int count[ANSI_Codepages.length];
foreach(char c in string)
foreach(ANSI_Codepage cp in ANSI_Codepages)
if cp.contains© count[cp]++;

Und dann nimmst du die Codepage mit dem besten Count.

Zitat

Dateien die rein in ASCII dargestellt werden könnten

Ja was nun? Geh mal lieber davon aus, daß internationale Darstellungen ohnehin nur mit Unicode ordentlich funktionieren.

Oder willst du, daß die Dateien zwar nicht sinnvoll gelesen werden können, aber auch nicht kaputtgehen können? Dann nimm UTF-7.

Zitat

Ein CString Objekt auf Unicode-Zeichen zu überprüfen?

Du meinst die IsUnicodeString()-Raterei? Das ist auch keine Lösung.