Почему меньшее количество потоков CPU ускорило YOLO в 2 раза (ONNX Runtime)
Почему уменьшение количества потоков ЦП ускорило YOLO в 2 раза (ONNX Runtime) В бенчмарке Ultralytics ограничение PyTorch двумя потоками сократило время обработки 1000 изображений с 58,8 с до 27,1 с на машине с 8 виртуальными процессорами. Та же модель, без переобучения. PyTorch обрабатывает предварительную и постобработку, в то время как ONNX Runtime или OpenVINO запускают модель. Простой PyTorch-процессоры могут продолжать работать на ядрах, необходимых для модели. В Ultralytics 8.4.193 количество потоков PyTorch ограничено двумя для этого пути вывода на ЦП. Аппаратное обеспечение имеет значение: на 4 виртуальных процессорах изменение практически не повлияло на результат, а один пакетный тест показал замедление на 5%. На Apple M5 Pro разница была в пределах нормы. Это результаты разработчиков, а не наш собственный бенчмарк. Обновите, а затем измерьте полный путь от изображения до результата на вашем оборудовании для развертывания. Использование двух потоков — не универсальная настройка. Источник: https://github.com/ultralytics/ultralytics/pull/26942 Изображения: COCO val2017 (https://cocodataset.org). Никакой поддержки не подразумевается. #ComputerVision #YOLO #ONNXRuntime #MLOps
Название:
Почему меньшее количество потоков CPU ускорило YOLO в 2 раза (ONNX Runtime)
Категория:
Разное