在生成式AI崛起的浪潮中，NVIDIA Jetson Orin NX 作為一款強大的嵌入式AI計算平臺，為在邊緣端運行大模型提供了理想的硬件支持。本文將介紹如何在 Leetop Jetson Orin NX 解決方案上部署 NanoOWL大模型并提供了詳細步驟。
在開始之前，請確保你已經完成以下準備工作：
一、獲取硬件（一套ALP-606）
我們準備一套LEETOP的ALP-606（配置Jetson Orin NX 16G核心板）邊緣計算終端和攝像頭，并且正確安裝操作系統及軟件
二、配置ALP-606
連接 Alp-606 到計算機(Ubuntu 20.04)，并使用 SDK Manager 完成初始配置。確保 JetPack 和所需的軟件庫已經正確安裝。
三、安裝依賴庫
在 Jetson Orin NX 上運行以下命令安裝所需的依賴庫：
1.安裝依賴庫
sudo apt-get update sudo apt-get install libhdf5-serial-dev \ hdf5-tools \ libhdf5-dev \ zlib1g-dev \ zip \ libjpeg8-dev \ liblapack-dev \ libblas-dev \ gfortran |
2.安裝和升級pip3工具
sudo apt-get install python3-pip sudo python3 -m pip install --upgrade pip sudo pip3 install -U testresources setuptools==65.5.0 |
3.安裝python依賴包
sudo pip3 install -U numpy==1.22 \ future==0.18.2 \ mock==3.0.5 \ keras_preprocessing==1.1.2 \ keras_applications==1.0.8 \ gast==0.4.0 \ protobuf \ pybind11 \ cython \ pkgconfig \ packaging \ h5py==3.6.0 |
4.安裝tensorflow
sudo pip3 install --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v512 tensorflow==2.12.0+nv23.06 |
接下來我們就開始在ALP-606上快速部署NanoOWL算法
1.配置jetson_contain
git clone https://github.com/dusty-nv/jetson-containers cd jetson-containers sudo apt update; sudo apt install -y python3-pip pip3 install -r requirements.txt |
2.運行腳本拉取docker鏡像并進入nanoowl的docker環境
cd jetson-containers ./run.sh $(./autotag nanoowl) |
等待拉取nanoowl的docker鏡像，成功后會自動進入docker環境
3.運行NanoOWL算法example
cd examples python3 owl_predict.py \ --prompt="[an owl, a glove]" \ --threshold=0.1 \ --image_encoder_engine=../data/owl_image_encoder_patch32.engine |
運行成功生成/opt/nanoowl/data/owl_predict_out.jpg文件
4.運行NanoOWL算法樹型預測demo (Live Camera)
## 查看docker環境里的USB攝像頭節點，根據具體設備號修改tree_demo.py ls /dev/video* ## 運行demo python3 tree_demo.py ../../data/owl_image_encoder_patch32.engine |
等待模型加載，加載成功如下圖所示
5.在PC主機或者ALP-606上打開瀏覽器進入http://<ip address>:7860
可以看到攝像頭的實時畫面，在下方編輯欄內填入想要識別的物體種類名稱，如
[a face [a nose, an eye, a mouth]]或[a chair [a cellphone]]
此時會在實時畫面上能看到想要識別的目標框
結論
通過這個簡單的指南，你已經可以成功地在 Jetson Orin NX 上部署 NanoOWL 大模型。在實際生產環境中，確保進行性能優化和安全性評估，以滿足您的實際應用需求。
希望這篇指南對您在Jetson Orin NX上部署大模型有所幫助。
leetop 提供一系列支撐邊緣計算和大模型部署的眾多方案 ，并支持產品定制化
如果您有任何需求或者疑問和反饋，歡迎在評論中留言或者直接聯系我們.
GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。掃描下方海報二維碼，立即注冊 GTC 大會。