WPF 结合本地 Ollama 千问多模态实现离线屏幕使用记录工具

本文将告诉大家如何基于 WPF 框架、Windows.Graphics 截图能力和本地部署的千问多模态大模型，实现一款完全离线的屏幕使用记录工具，自动定时截图并解读当前屏幕内容，方便自己回溯一天的工作内容，全程无需联网，完全保障隐私安全。

本文内容由 AI 辅助编写

界面

以下是在我电脑上跑出来的效果图

背景

我之前一直想统计自己每天的时间分配，清晰了解大部分时间花在哪些应用、哪些任务上，但市面上的同类工具要么需要上传截图到云端，隐私得不到保障，要么只能统计前台应用的驻留时长，没办法知道具体在操作什么内容。同时为了测试本地多模态大模型的能力是否足够成熟，于是就做了这么一款完全离线的屏幕记录工具。

技术细节

截图能力：采用 Windows.Graphics API 实现截图，相比传统 GDI 截图性能更好，资源占用极低，再加上 10 秒截一次，对整机性能几乎没有影响，天然支持多屏幕同时适配。
大模型：使用本地 Ollama 部署的 qwen3-vl:8b 多模态模型，完全离线运行，不需要把截图传到任何第三方服务器，隐私完全可控，8B 参数的模型在普通消费级显卡上就能流畅运行，一次解读仅需 2-3 秒。
上下文逻辑：每次解读时会带上最近 10 张截图的历史解读内容，保证上下文连贯性，同时明确要求模型优先信任当前截图的内容，避免历史内容误导解读结果。

截图能力详细请参阅： dotnet 控制台调用 Windows.Graphics 实现屏幕截图功能

调用 Ollama 的方法请参阅：通过 OllamaSharp 对接 Microsoft Agent Framework 的方法

核心实现

1. 大模型解读服务

解读服务的核心是 Prompt 设计，我专门限制了模型的输出规则，避免返回泛泛而谈的无效内容，要求必须明确指出当前打开的应用、文档/页面名称、正在执行的操作，核心代码如下：

public ScreenshotAnalysisService(Uri ollamaEndpoint, string modelId)
{
    var ollamaApiClient = new OllamaApiClient(ollamaEndpoint, modelId);
    _agent = new ChatClientAgent(
        ollamaApiClient,
        instructions:
        """
        You analyze desktop screenshots.
        Reply in Chinese with 1-2 sentences.
        Name the visible application, page, or document whenever it can be identified.
        Describe the current task and include only details that are actually visible.
        If a detail is unclear, say so instead of guessing.
        """);
}

以上提示词由 GitHub Copilot 编写

调用时需要传入当前截图的字节流、截图时间和最近 10 条历史解读上下文，核心调用逻辑如下：

public async Task<string> AnalyzeAsync(
    string imagePath,
    DateTimeOffset capturedAt,
    IReadOnlyCollection<SnapshotAnalysisContext> recentContexts,
    CancellationToken cancellationToken = default)
{
    var imageBytes = await File.ReadAllBytesAsync(imagePath, cancellationToken);
    var message = new ChatMessage
    {
        Role = ChatRole.User,
        Contents =
        [
            new TextContent(BuildPrompt(capturedAt, recentContexts)),
            new DataContent(imageBytes, GetImageMimeType(imagePath))
        ]
    };
    var response = await _agent.RunAsync(message);
    return response.Text?.Trim() ?? "模型没有返回可用的解读内容。";
}

这里的 BuildPrompt 方法会把最近 10 条历史记录按时间顺序拼接到提示词中，同时明确告知模型历史内容仅作为参考，优先级低于当前截图。

2. 定时截图循环

默认 10 秒截图一次，支持多屏幕依次处理，避免同时截图造成性能波动，核心循环逻辑如下：

private async Task RunCaptureLoopAsync(CancellationToken cancellationToken)
{
    while (!cancellationToken.IsCancellationRequested)
    {
        foreach (var display in _screenSnapshotProvider.GetDisplays())
        {
            var stopwatch = Stopwatch.StartNew();
            await CaptureAndAnalyzeDisplayAsync(display, cancellationToken);
            // 保证两次截图间隔至少10秒
            var remainingDelay = MinimumCaptureInterval - stopwatch.Elapsed;
            if (remainingDelay > TimeSpan.Zero)
            {
                await Task.Delay(remainingDelay, cancellationToken);
            }
        }
    }
}

如果有多块屏幕，会依次处理每块屏幕的截图和解读，处理完所有屏幕后再等待剩余的间隔时间，避免截图频率过高。

3. 存储自动清理逻辑

所有截图默认存到 %LocalAppData%\SnapkeboyearheNarjairfiru\Snapshots 目录下，截图存 PNG 格式，解读结果存 XML 格式，当目录总大小超过 1G 时，会自动删除最旧的截图文件，但保留 XML 解读记录，既不占用过多磁盘空间，也能保留所有历史解读内容，核心清理代码如下：

private async Task<StorageCleanupResult> CleanupStorageIfNeededAsync(CancellationToken cancellationToken)
{
    return await Task.Run(() =>
    {
        var directoryInfo = new DirectoryInfo(StorageFolderPath);
        var totalSize = directoryInfo.EnumerateFiles().Sum(file => file.Length);
        if (totalSize <= 1024L * 1024 * 1024) // 1G存储上限
        {
            return StorageCleanupResult.Empty;
        }
        // 按创建时间升序，优先删除最旧的截图
        var filesToDelete = directoryInfo.EnumerateFiles()
            .Where(file => SnapshotImageExtensions.Contains(file.Extension))
            .OrderBy(file => file.CreationTimeUtc)
            .ToList();
        long releasedBytes = 0;
        int deletedCount = 0;
        foreach (var file in filesToDelete)
        {
            if (totalSize <= 1024L * 1024 * 1024) break;
            var length = file.Length;
            file.Delete();
            totalSize -= length;
            releasedBytes += length;
            deletedCount++;
        }
        return new StorageCleanupResult(deletedCount, releasedBytes);
    }, cancellationToken);
}

4. 界面实现

界面采用 WPF 开发，使用虚拟化 ListView 展示历史记录，默认最多显示 100 条最近记录，也可以手动加载更多历史，支持暂停/恢复截图、打开存储目录等功能，每个条目显示截图缩略图、截图时间、解读内容、文件路径，如果截图已经被清理，会显示「截图已清理，仅保留 XML 解读」的提示。

使用注意事项

首先需要安装 Ollama，官网地址：https://ollama.com/，安装完成后执行 ollama pull qwen3-vl:8b 拉取千问3多模态模型，如果你的显存小于 8G，可以拉取 qwen3-vl:4b 版本，占用显存更小，仅性能略降。
代码中的 OllamaEndpoint 需要改成你自己的 Ollama 服务地址，本地部署默认是 http://localhost:11434，如果部署在局域网其他设备上也可以填写对应的局域网地址，依然完全内网运行不会泄露数据。
截图间隔可以自行修改 MinimumCaptureInterval 常量，默认 10 秒，觉得太频繁可以改成 30 秒或者 1 分钟，进一步降低资源占用。
存储上限可以自行修改 StorageLimitBytes 常量，默认 1G，不够用可以改成更大的值。

我自己使用了半天，全程后台运行几乎感知不到性能影响，下班之后（不存在）翻一遍历史记录就能清晰看到一天的时间分配，非常方便，且全程离线完全不用担心隐私泄露问题。还可以在此基础上扩展统计功能，比如自动统计每天花在每个应用上的时长、生成周日报等。

代码

本文以上代码放在 github 和 gitee 上，可以使用如下命令行拉取代码。我整个代码仓库比较庞大，使用以下命令行可以进行部分拉取，拉取速度比较快

先创建一个空文件夹，接着使用命令行 cd 命令进入此空文件夹，在命令行里面输入以下代码，即可获取到本文的代码

git init
git remote add origin https://gitee.com/lindexi/lindexi_gd.git
git pull origin f71fb96117919accc639260f122c819cfbc2890e

以上使用的是国内的 gitee 的源，如果 gitee 不能访问，请替换为 github 的源。请在命令行继续输入以下代码，将 gitee 源换成 github 源进行拉取代码。如果依然拉取不到代码，可以发邮件向我要代码

git remote remove origin
git remote add origin https://github.com/lindexi/lindexi_gd.git
git pull origin f71fb96117919accc639260f122c819cfbc2890e

获取代码之后，进入 SemanticKernelSamples/SnapkeboyearheNarjairfiru 文件夹，即可获取到源代码

原文链接: http://blog.lindexi.com/post/WPF-%E7%BB%93%E5%90%88%E6%9C%AC%E5%9C%B0-Ollama-%E5%8D%83%E9%97%AE%E5%A4%9A%E6%A8%A1%E6%80%81%E5%AE%9E%E7%8E%B0%E7%A6%BB%E7%BA%BF%E5%B1%8F%E5%B9%95%E4%BD%BF%E7%94%A8%E8%AE%B0%E5%BD%95%E5%B7%A5%E5%85%B7

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。欢迎转载、使用、重新发布，但务必保留文章署名林德熙 (包含链接: https://blog.lindexi.com )，不得用于商业目的，基于本文修改后的作品务必以相同的许可发布。如有任何疑问，请与我联系。