안녕하세요? 추운 겨울 잘 보내고 계신가요?
오늘은 ONNX Runtime에 대해 간단히 포스팅 해보겠습니다.
ONNX-Runtime을 이용해 Vitis-AI에서 지원하지 않는 machine-learning model의 operator들을 구현한다면, NVIDIA나 AMD보드의 ARM CPU에서 돌리는 것 보다 속도 향상을 기대할 수 있습니다.
정의
ONNX Runtime이란 간단하게 말하면 machine-learning model accelerator입니다. 다양한 OS와 쉬운 API를 가지고, 다양한 AI Framework(ex. Pytorch)과 함께 사용할 수 있습니다.
특징
1. High performance runtime for ONNX models
2. Supports full ONNX-ML spec
3. Available for Linux, Windows, and Mac
4. Runs with CPU and GPU, with extensible architecture to plug-in additional hardware accelerators
5. Get an ONNX model from the zoo model or by converting from various frameworks
어떤 것인지 감 잡으셨나요?
추후에 ONNX-Runtime을 이용한 예제를 들고 오겠습니다.
모두 행복한 하루 되시길 바랍니다
