UTF-8 strings are corrupted on .NET Framework 4.7.2

[amorphobia]

问题描述

RimeSharp 同时支持 net8.0 和 net472，但在 Windows 上使用 net472 运行时，从 librime 返回的部分 UTF-8 字符串会出现乱码。

相同代码在 net8.0 下输出正常。

复现方式

我将 RimeSharp.Test 修改为同时目标到：

<TargetFrameworks>net8.0;net472</TargetFrameworks>

同时显式将控制台输入输出设置为无 BOM 的 UTF-8，以排除终端编码的影响：

Console.InputEncoding = new System.Text.UTF8Encoding(false);
Console.OutputEncoding = new System.Text.UTF8Encoding(false);

分别运行：

dotnet run --project RimeSharp.Test --framework net8.0
dotnet run --project RimeSharp.Test --framework net472

测试使用 luna_pinyin，输入：

nihao
print schema list

实际结果

net8.0 输出正常：

schema: luna_pinyin / 朙月拼音
status: composing
[ni hao]|
page: 1  (of size 5)
. [你好]
.  妳好
.  逆號
.  你
.  擬

schema list:
1. luna_pinyin [朙月拼音]
2. cangjie5 [倉頡五代]
current schema: [luna_pinyin]

net472 中对应字符串损坏：

schema: �� / �  ��
status: composing
[ࡪ�
page: 1  (of size 5)
. []
.  p���
.  p���
.  ��
.  ࢪ�

schema list:
1. `�� [�
��]
2.
    �� [ :��]
current schema: [luna_pinyin]

librime 初始化、部署、会话创建以及布尔状态均能正常工作，问题集中在从原生结构体返回的字符串字段。

初步分析

乱码字段都使用了结构体字段自动编组：

[MarshalAs(UnmanagedType.LPUTF8Str)]
public string? SchemaName;

目前确认受影响的字段包括：

• RimeStatus.SchemaId
• RimeStatus.SchemaName
• RimeComposition.Preedit
• RimeCandidate.Text
• RimeCandidate.Comment
• RimeSchemaListItem.SchemaId
• RimeSchemaListItem.Name

这表明问题可能来自 .NET Framework 4.7.2 对结构体内 LPUTF8Str 字段的编组行为，而不是 PowerShell 或控制台编码。

可能的修复方式是将原生返回结构体中的字符串字段声明为 IntPtr，并通过现有的 UTF8Marshal.PtrToStringUTF8() 显式转换，同时保持原生结构体的字段顺序和 ABI 布局不变。

附件

附带的 rimesharp-test-net472.patch 仅用于让 RimeSharp.Test 同时运行于 net8.0 和 net472，方便复现和对照；该 patch 尚未修复核心库中的 UTF-8 编组问题。

rimesharp-test-net472.patch

[amorphobia]

现在有三个选择：

1. 使用统一代码修复，会复制大量的托管对象，对于 net8.0 来说是纯性能损失
2. 条件编译，net472 使用托管对象，net8.0 保持现有指针不变，代价是代码变复杂了很多
3. 索性放弃 net472 支持

@WhiredPlanck 你看看倾向哪种？

要看看代码的话: 31a254d

[WhiredPlanck]

现在有三个选择：

1. 使用统一代码修复，会复制大量的托管对象，对于 `net8.0` 来说是纯性能损失

2. 条件编译，`net472` 使用托管对象，`net8.0` 保持现有指针不变，代价是代码变复杂了很多

3. 索性放弃 `net472` 支持

@WhiredPlanck 你看看倾向哪种？

要看看代码的话: 31a254d

据我所知，[MarshalAs(UnmanagedType.LPUTF8Str)] 在 .NET Framework 上功能是不完整的，我考虑一下怎么整

[WhiredPlanck]

@amorphobia 我想明白了，你可以看看 RimeTraits，当初为了解决乱码就是手动封送的，[MarshalAs(UnmanagedType.LPUTF8Str)] 这个注解无非是让编译器帮我们完成自动封送罢了。AI 的建议也是为了同时兼容两个编译目标，都采取手工封送。那我们只要把受影响的字段都采取 RimeTraits 中的手动封送方式即可。

更新：为了避免手写那么多模板代码，应该可以自定义一个像 [MarshalAs(UnmanagedType.LPUTF8Str)] 的属性，来自动完成封送。