waifuExtension – Mac 上的 waifu2x，用机器学习放大视频和图像，拥有图形界面，支持 Real-ESRGAN 模型

waifuExtension 是一款 Mac 上的 waifu2x 图形界面工具，它利用 CPU、GPU、ANE 进行机器学习放大视频和图像，支持对视频进行插帧。@Appinn

来自发现频道，@blacklein 同学的推荐：

waifuExtension – macOS上针对照片、动画图片的分辨率放大工具

waifu2x 大家应该都不陌生了，二次元图像无损放大，现在已经有不少类似的开源项目，其中 Windows 平台的 Waifu2x-Extension-GUI 应属于其中的集大成者，几乎囊括了目前所有的图像无损放大模型开源项目，小众软件之前也推荐过：

• https://www.appinn.com/waifu2x-extension-gui/

可惜我是 Macbook Pro，用虚拟机无法运行 Waifu2x-Extension-GUI 或此类需要调用 GPU 的软件，基本上能找到的开源项目都试过了，全部报错，只能用 Bootcamp 才能运行。

macOS 上能用的基于 waifu2x 模型的开源项目很久未更新了，例如下面两个：

• GitHub – imxieyi/waifu2x-mac
• GitHub – moeoverflow/waifu2x-ncnn-vulkan-macos

后来了解到一个新的模型 Real-ESRGAN，这个开源项目提供了一个 macOS 可以运行的二进制程序，小众软件在2021年10月介绍过：

• Real-ESRGAN – 针对照片、动画图片的分辨率放大工具

我试了下发现确实可以在 Intel 和 M1 芯片的 Macbook Pro 上运行，而且放大效果比 waifu2x 更强（但会损失一些模糊、景深之类细节，线条更加锐利，适合画面比较干净比较亮的二次元图像，但说实话我觉得损失的细节并没有影响到画面整体成像效果）

虽然 Real-ESRGAN 的二进制程序解决了 macOS 上的有无问题，但每次使用都要用终端，总归是有些不方便。不过我一直没找到使用 Real-ESRGAN 模型的 macOS app

然后机缘巧合吧，在 GitHub 上发现了一个最近新出的 The waifu2x on Mac 的开源项目，并且是用 swiftUI 写的，抱着试试的心态发了个 issue，建议作者加入 Real-ESRGAN 模型，没想到作者回复超快，第二天就更新了 release，其中包含了多个模型就有 Real-ESRGAN，挺开心的，就想分享给大家，前面废话多了些，多包涵啦。

waifuExtension 项目地址

• GitHub：https://kutt.appinn.net/eimAoN
• 发现：https://meta.appinn.net/t/topic/30878

注意，waifuExtension 项目文件有 754 MB，青小蛙并未下载测试，下图来自官网：

ANE 是什么？

waifuExtension 支持 CPU、GPU、ANE，而这个 ANE，是 Apple 的神经引擎 Apple Neural Engine，大多数 iPhone 与 iPad 都支持（A11+ 开始支持，以及 M1 芯片），这是一个特殊的处理器，可以使机器学习模型的速度非常快，但关于这个处理器的实际工作原理，公开知道的不多。

苹果神经引擎（或称 ANE）是一种 NPU，即神经处理单元的意思。它就像一个 GPU，但 NPU 不是加速图形，而是加速神经网络操作，如卷积和矩阵乘法。

ANE 并不是唯一的 NPU，除了苹果之外，许多公司都在开发自己的 AI 加速器芯片。除了神经引擎，最著名的 NPU 是 Google’s TPU (Tensor Processing Unit）。

本文链接：https://www.appinn.com/waifuextension-for-macos/

另外，@blacklein 同学还在求 Vector Magic 的平替软件，一个把位图转换为矢量图的软件，但年久失修，有线索的同学欢迎前往b z https://meta.appinn.net/t/topic/30877