Перейти к основному содержимому

3 записи с тегом "Sige5"

Посмотреть все теги

· 3 мин. чтения
ArmSoM
Z-Keven

As computer vision technology rapidly advances, ArmSoM officially announces that its flagship products—the Sige5 Development Board and CM5 Core Board based on Rockchip RK3576—now fully support RKNN deployment of Ultralytics YOLOv11 models. This breakthrough marks the arrival of a new generation of high-performance, low-power AI solutions in edge computing, providing "out-of-the-box" support for industrial inspection, smart security, robotic navigation, and other applications.

rockchip-rknn

一、Rockchip RKNN Toolkit

The RKNN Toolkit is a suite of tools and libraries provided by Rockchip to facilitate the deployment of deep learning models on its hardware platforms. RKNN (Rockchip Neural Network) is the proprietary format used by these tools. RKNN models are designed to fully leverage hardware acceleration from Rockchip’s NPUs (Neural Processing Units), ensuring high performance for AI tasks on devices such as RK3588, RK3576, RK3566, RV1103, RV1106, and other Rockchip-supported systems.

Key Features of RKNN Models

RKNN models offer multiple advantages for deployment on Rockchip platforms:

  • NPU Optimization: RKNN models are specifically optimized for Rockchip’s NPUs, ensuring peak performance and efficiency.
  • Low Latency: The RKNN format minimizes inference latency, crucial for real-time applications on edge devices.
  • Platform-Specific Customization: RKNN models can be tailored to specific Rockchip platforms, maximizing hardware resource utilization.
  • Power Efficiency: dedicated NPU hardware, RKNN models consume less power than CPU/GPU processing, extending battery life for portable devices.

二、Using CM5 with Ultralytics

1. Export to RKNN: Convert YOLOv11 Models

Export Ultralytics YOLOv11 models to RKNN format and run inference with the exported model.

Ensure you use an x86-based Linux PC for exporting models to RKNN, as this is not supported on Rockchip-based devices (ARM64).

# Install required packages for YOLOv11
pip install ultralytics

# Export a YOLOv11n PyTorch model to RKNN format
# 'name' can be one of rk3588, rk3576, rk3566, rk3568, rk3562, rv1103, rv1106, rv1103b, rv1106b, or rk2118
yolo export model=yolo11n.pt format=rknn name=rk3588 # Creates '/yolo11n_rknn_model'

2. Deploy the Exported YOLOv11 RKNN Model

After successfully exporting the Ultralytics YOLOv11 model to RKNN format, the next step is deployment on Rockchip-based devicesbash

# Install required packages for YOLOv11
pip install ultralytics

# Run inference with the exported model
yolo predict model='./yolo11n_rknn_model' source='https://ultralytics.com/images/bus.jpg'

rknn-bus-yolo

三、Real-World Applications

Rockchip devices equipped with YOLOv11 RKNN models can be used in diverse scenarios:

Intelligent Surveillance: Deploy efficient object detection systems for low-power security monitoring. • Industrial Automation: Implement quality control and defect detection directly on embedded devices. • Retail Analytics: Track customer behavior and manage inventory in real time without cloud dependency. • Smart Agriculture: Monitor crop health and detect pests using computer vision in farming. • Autonomous Robotics: Enable vision-based navigation and obstacle detection on resource-limited platforms.

四、Learn More

For detailed documentation, visit Rockchip RKNN Export for Ultralytics YOLO11 Models.

· 3 мин. чтения
ArmSoM

Let's first introduce the detailed specifications of Rockchip RK3576 Datasheet

RK3576 Brief datasheet

A low power, high performance AloT processor

FeaturesRK3576
CPU
  • Quad Cortex-A72 and quad Cortex-A53
  • 1M8 unifed L2 cache for Cortex-A72
  • 512KB unified L2 cache for Cortex-A53
  • ARM cortex MO for user application
  • GPU
  • ARM Mali G52 MC3
  • OpenGL Es 1.1, 2.0 and 3.2, 0pencL 2.1, Wulkan 1.2
  • NPU
  • 6 TOPS*@INT8
  • Support int4/int8/int16/FP16/BF16/TF32
  • Support deep learning frameworks: TensorFlow, Caffe,Tfite, Pytorch, Onnx NN, Android NN, etc
  • Memory
  • 32-bit LPDDR4/LPDDR4X/LPDDR5
  • eMMC 5.1, SDIO 3.0 and SFC
  • UFS v2.0
  • Multimedia
  • H.265 HEVC Main10 L5.1 yuv444: 4K 120fps
  • H.264 AVC High10 L5.1 yuv422: 4K 60fps
  • H.264 MVC up to 1080P 60fps
  • VP9 Profile0/2 L5.1: 4K 120fps
  • AVS2 Profile0/2 L10.2.6: 4K 120fps
  • AV1 Main10 L5.3: 4K 120fps
  • 4K@60fps video encoders for H.264/H.265
  • Video Input
  • 16M Pixel ISP with HDR & 3DNR
  • Triple MIPI CSI-2 with 4-lane interfaces
  • 16-bit DVP interface, up to 150MHz
  • Display
  • Multiple display up to (4K@120 + 2.5K@60 + 2K@60)
  • HDMI v2.1/ eDP v1.3 Combo interface
  • MIPI DSI, 4 lanes
  • DP v1.4 and USB 3.0 combo (Type-C) interface
  • Parallel output interface
  • EBC output interface
  • Picture Quality post-process module
  • Audio Interface
  • 5x SAI interfaces, support I2S/thM/PCM mode
  • SPDIF TX and SPDIF RX
  • PDMO/PDM1 with 8 channels
  • Dual 2-ch and dual 4-ch ASRC
  • Digital Audio Codec with 2 channels
  • High Speed Interface
  • PCIe2.1/SATA3 combo interface with one data lane
  • PCIe2.1/SATA3/USB3.0 combo interface with one data lane
  • 2x RGMII interfaces
  • Industry
  • 2x CAN FD
  • 16-bit DSMC (Double Data Rate Serial Memory Controller)
  • Security
  • ARM TrustZone security extension
  • Secure boot and JTAG
  • Key ladder
  • Crypto (RSA 4096, AES 256, SHA-512...)
  • HDCP 2.x for HDMI and DP/eDP
  • SDK
  • Linux and Android
  • Others
  • Package Information: FCCSP698L(16.1x17.2mm, pitch: 0.6mm)
  • RK3576 Block Diagram

    rk3576 block diagram

    RK3576 Typical Application Diagram-AloT

    rk3576 typical

    RK3576 SBC Introduction

    ArmSoM-Sige5 RK3576 SBC

    ArmSoM-Sige5 adopts the second-generation 8nm high-performance AIOT platform Rockchip RK3576, with a 6 TOPS computing power NPU and support for up to 16GB of large memory. It supports 4K video encoding and decoding, offers rich interfaces including dual gigabit Ethernet ports, WiFi 6 & BT5, and various video outputs. Compatible with multiple operating systems, it is suitable for ARM-based PCs, edge computing devices, personal mobile internet devices, and other digital multimedia applications.

    rk3576 sige5

    More details:https://docs.armsom.org/armsom-sige5

    ArmSoM-CM5 RK3576 Compute Module

    The ArmSoM-CM5 is a Compute module powered by the Rockchip RK3576 second-generation 8nm high-performance AIOT platform. It integrates a quad-core Cortex-A72 @ 2.2GHz and a quad-core Cortex-A53 @ 1.8GHz, along with a dedicated NEON co-processor, a 6 TOPS NPU, and supports up to 16GB of large memory. It supports 4K video encoding and decoding, features a rich set of interfaces, and supports various operating systems.

    rk3576 CM5

    More details:https://docs.armsom.org/armsom-cm5

    RK3576 Linux mainline support

    · 3 мин. чтения
    ArmSoM
    Z-Keven

    Прогресс Поддержки Основного Ядра для RK3576 SoC на ArmSoM-Sige5

    Мы рады сообщить, что поддержка основного ядра для платы разработки ArmSoM-Sige5 на базе RK3576 SoC стабильно продвигается благодаря усилиям Collabora. RK3576 SoC является частью семейства Rockchip и имеет сходство с широко известным RK3588, многие аппаратные блоки которого были повторно использованы, что облегчает процесс добавления поддержки в основное ядро.

    ArmSoM-Sige5

    Обзор Поддержки Основного Ядра для RK3576

    Был достигнут значительный прогресс в продвижении поддержки основного ядра для RK3576 SoC. Ниже приведен текущий статус поддержки различных аппаратных модулей:

    1. Управление Питанием и Контроль Тактовых Частот

    • PMIC (rk806): Поддержка была включена в Linux 6.12-rc1.
    • Контроль Тактов и Сбросов (CRU): Поддержка в основном ядре была добавлена, включая обновленное привязки к устройствам.
    • Энергетический Домейн (pmdomain): Несколько патчей, включая базовую поддержку, были включены.

    2. Хранение и Интерфейсы Периферийных Устройств

    • eMMC: Поддерживается в Linux 6.12-rc1.
    • SD Карта и SDIO: Оба интерфейса теперь поддерживаются в основном ядре.
    • SATA и UFS: Патчи для UFS были отправлены, а поддержка SATA была изначально реализована в Linux 6.1-rc1.

    3. Сети и Связь

    • Ethernet: Поддержка была добавлена в Linux 6.12-rc1.
    • WLAN и Bluetooth (rtl8852bs): Полная поддержка основного ядра пока не доступна, но существующие драйверы могут быть адаптированы.

    4. Дисплей и Мультимедиа

    • Контроллер Дисплея (VOP): Патчи были отправлены с поддержкой реализации HDMI и DisplayPort.
    • GPU (Mali G-52 MC3): Поддержка добавлена в Linux 6.12-rc1.
    • Кодирование и Декодирование Медиа: Все еще находится в стадии разработки, и пока нет четких планов по поддержке в основном ядре.

    5. Поддержка Других Периферийных Устройств

    • UART и SPI: Эти периферийные устройства уже имеют драйверы, включенные в основное ядро.
    • I2C и GPIO: Обновленные привязки к устройствам были включены, а связанные патчи для GPIO и Pinmux были отправлены.

    Резюме

    Поддержка RK3576 SoC в сообществе с открытым исходным кодом продвигается успешно, многие ключевые модули уже получили начальную поддержку. Однако, для реализации таких передовых функций, как аудио через HDMI, DSI и NPU, потребуется дальнейшая разработка. Продукт ArmSoM-Sige5, как пример использования RK3576 SoC, выиграет от этих непрерывных улучшений, и со временем мы можем ожидать более полной поддержки основного ядра.

    Участвуйте в Разработке

    Если вам интересно содействовать поддержке основного ядра для RK3576 SoC, мы призываем вас присоединиться к сообществу. Будь то тестирование существующих патчей, разработка новых драйверов или внесение кода в привязки к устройствам, ваше участие станет важным вкладом в развитие всего сообщества.

    Взгляд в Будущее

    По мере того как поддержка основного ядра для RK3576 SoC продолжает улучшаться, опыт разработки на ArmSoM-Sige5 станет более плавным и надежным. Мы уверены, что это дополнительно будет способствовать развитию встроенных приложений на базе RK3576, позволяя большему количеству разработчиков использовать эту мощную аппаратную платформу для инноваций.

    Для получения дополнительной информации или участия в разработке, посетите следующие ссылки: