可以本地运行的 MNN，内置多种大模型，可以部署 DeepSeek
https://github.com/alibaba/MNN
MNN 是阿里巴巴开发的一个高效轻量级的深度学习框架,主要用于深度学习模型的推理和训练。它在移动设备和嵌入式设备上表现出卓越的性能,已经在包括淘宝、天猫、优酷、钉钉、闲鱼等超过 30 个阿里巴巴应用中集成,涵盖了直播、短视频、搜索推荐、图像搜索、互动营销、股权分发和安全风控等超过 70 种场景。
MNN 支持 TensorFlow、Caffe、ONNX、Torch 等多种模型格式,以及 CNN、RNN、GAN、Transformer 等常见神经网络。它还支持多输入、多输出、各种维度格式和动态输入等复杂模型,并提供了广泛的 OP 支持。
MNN 具有轻量级、通用性、高性能和易用性等特点:
● 轻量级: 优化了设备部署,无需依赖其他库,易于部署到移动设备和嵌入式设备。iOS 静态库大小约 12MB,Android 核心 so 大小约 800KB。
● 通用性: 支持多种模型格式和神经网络类型,以及各种复杂模型。
● 高性能: 核心计算采用大量优化的汇编代码充分利用 ARM/x64 CPU;使用 Metal/OpenCL/Vulkan 支持移动设备 GPU 推理;支持 CUDA 和 TensorCore 用于 NVIDIA GPU;拥有高效且稳定的卷积和转置卷积算法,广泛使用 Winograd 卷积算法。
● 易用性: 支持 NumPy 式的数值计算;支持轻量级图像处理模块 OpenCV;支持在 PC/移动端构建和训练模型;提供 Python API 帮助机器学习工程师无需深入 C++ 代码即可使用 MNN 进行推理、训练和图像处理。
MNN 提供了模型转换器、压缩器、通用计算支持、轻量级 OpenCV 库、以及模型训练工具等一系列工具,进一步简化了用户的使用流程。 MNN 的文档可在 Read the docs 网站上找到,同时 workbench 工具提供预训练模型、可视化工具和一键部署功能。 它还在阿里巴巴的 Walle 系统中作为基本计算模块发挥作用,具有业界领先的性能。
#GitHub #AI #Tool
https://github.com/alibaba/MNN
MNN 是阿里巴巴开发的一个高效轻量级的深度学习框架,主要用于深度学习模型的推理和训练。它在移动设备和嵌入式设备上表现出卓越的性能,已经在包括淘宝、天猫、优酷、钉钉、闲鱼等超过 30 个阿里巴巴应用中集成,涵盖了直播、短视频、搜索推荐、图像搜索、互动营销、股权分发和安全风控等超过 70 种场景。
MNN 支持 TensorFlow、Caffe、ONNX、Torch 等多种模型格式,以及 CNN、RNN、GAN、Transformer 等常见神经网络。它还支持多输入、多输出、各种维度格式和动态输入等复杂模型,并提供了广泛的 OP 支持。
MNN 具有轻量级、通用性、高性能和易用性等特点:
● 轻量级: 优化了设备部署,无需依赖其他库,易于部署到移动设备和嵌入式设备。iOS 静态库大小约 12MB,Android 核心 so 大小约 800KB。
● 通用性: 支持多种模型格式和神经网络类型,以及各种复杂模型。
● 高性能: 核心计算采用大量优化的汇编代码充分利用 ARM/x64 CPU;使用 Metal/OpenCL/Vulkan 支持移动设备 GPU 推理;支持 CUDA 和 TensorCore 用于 NVIDIA GPU;拥有高效且稳定的卷积和转置卷积算法,广泛使用 Winograd 卷积算法。
● 易用性: 支持 NumPy 式的数值计算;支持轻量级图像处理模块 OpenCV;支持在 PC/移动端构建和训练模型;提供 Python API 帮助机器学习工程师无需深入 C++ 代码即可使用 MNN 进行推理、训练和图像处理。
MNN 提供了模型转换器、压缩器、通用计算支持、轻量级 OpenCV 库、以及模型训练工具等一系列工具,进一步简化了用户的使用流程。 MNN 的文档可在 Read the docs 网站上找到,同时 workbench 工具提供预训练模型、可视化工具和一键部署功能。 它还在阿里巴巴的 Walle 系统中作为基本计算模块发挥作用,具有业界领先的性能。
#GitHub #AI #Tool
GitHub
GitHub - alibaba/MNN: MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on…
MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI. - alibaba/MNN
