具有生成式 AI 的 OpenVINO

openSUSE Innovator 计划和 Intel Innovator 计划在确保 openSUSE Linux 发行版社区的 openVINO 存储库保持最新状态方面发挥着至关重要的作用，我将不断努力为该社区提供帮助。

OpenVINO（开放式可视化推理和神经网络优化）是人工智能生态系统中最重要的工具之一，特别是对于需要优化深度学习模型推理性能的应用程序。在 Tumbleweed 发布的 2024.6.0 版本在兼容性、优化和复杂模型支持方面带来了显着进步，包括生成式 AI 中使用的模型，例如大型语言模型（LLM）。

OpenVINO 在 openSUSE Linux 上的重要性

• 无缝硬件和软件集成：OpenVINO 为 Intel CPU 和 GPU 提供本机加速，同时保持支持其他平台的灵活性。当与 openSUSE Linux 的优化内核和高级库兼容性配合使用时，OpenVINO 可以充分发挥其潜力。
• 开源中的生成式 AI：在生成式 AI 时代，OpenVINO 等工具使尖端技术的获取变得大众化，并允许各个级别的开发人员直接在 openSUSE 上创建高级解决方案，而无需昂贵的专有硬件。
• 性能和效率：OpenVINO 显着减少了推理时间和资源使用量，这对于实时处理大量数据的基于 LLM 的应用程序来说是一项关键功能。
• 开发人员简单性：OpenVINO 的最大优势之一是其可访问性。它甚至使初学者开发人员能够使用最少的代码构建强大的应用程序，同时仍然为高级项目提供灵活性和定制性。

用 3 行代码构建 LLM 应用

借助 OpenVINO，使用生成语言模型创建应用程序非常简单：

import openvino_genai as ov_genai
pipe = ov_genai.LLMPipeline("TinyLlama-1.1B-Chat-v1.0/", "CPU")
print(pipe.generate("Openvino é", max_new_tokens=100, do_sample=False))

这种简单性凸显了 OpenVINO 如何将生成式 AI 技术无缝集成到 openSUSE Linux 中，将优化与易用性结合起来。

结论

OpenVINO 在 openSUSE Linux 上的出现强化了开源在引领 AI 时代技术进步方面的作用。它使企业、独立开发人员和爱好者能够构建高效、可扩展且有影响力的应用程序。借助 OpenVINO 等工具，openSUSE 将自己定位为生成式 AI 创新的强大平台。

有关工作进展的反馈和建议可以发送至 Alessandro de Oliveira Faria (AKA CABELO) cabelo@pensuse.org

原文：OpenVINO with Generative AI，作者：Alessandro de Oliveira Faria