本文共 2283 字，大约阅读时间需要 7 分钟。

TensorRT安装与使用指南（Ubuntu环境下）

一、安装TensorRT

安装TensorRT前，确保已成功安装好CUDA和CU DNN。请参考以下步骤安装TensorRT：

1. 获取TensorRT安装包

下载最新版本的TensorRT安装包。你可以从以下链接获取：

https://github.com/tensorrt/tensorrt

2. 解压并安装

解压下载的TensorRT-

tar -xzf TensorRT-
   
    .tar.gz
   

3. 系统环境设置

编辑~/bashrc文件，添加以下配置：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/
   
    /lib64
export PATH=$PATH:/usr/local/cuda/
    
     /bin
export CUDA_HOME=/usr/local/cuda
    
   

二、Yolo模型转换与优化（TensorRT）

将预训练的YOLO5模型转换为TensorRT可执行模型，提升 inference 速度。

1. 克隆项目并准备文件

克隆Yolo模型仓库：

git clone https://github.com/yourkę/yolov5.git
cd yolov5

2. 安装必要的库

安装TensorRT、UFF和GraphSurgeon：

pip install tensorrt-
   
    -
    
     -linux_x86_64.whl
pip install uff-
     
      -
      
       -none-any.whl
pip install graphsurgeon-
       
        -
        
         -none-any.whl
        
       
      
     
    
   

3. 转换模型

将YOLO模型转换为TensorRT格式。你可以参考以下代码示例：

import tensorrt as trt
import torch
# 初始化设备
device = trt.Device('cpu')
# 加载模型并转换为TensorRT格式
model = torch.load('path/to/model.pt', map_location=device).float()
# 创建TensorRT模型
context = trt.create_context(device)
engine = trt.Engine(model, context)
# 将模型转换为可执行文件
def save_engine(engine_path):
    engine.save(engine_path)
save_engine('model.pt.engine')

4.部署与推理

部署模型并进行推理。以下是使用TensorRT进行推理的示例代码：

import tensorrt as trt
import cv2
import numpy as np
# 加载已保存的TensorRT模型
engine = trt.Engine('model.pt.engine', device)
# 创建上下文
context = engine.create_context(device)
# 创建输入张量
inputs = np.random.rand(1, 3, 608, 608).astype(np.float32)
# 进行推理
outputs = engine.run(inputs, context)
# 获取输出
for output_name in engine.get_output_names():
    print(f'Output shape: {outputs=output_name}.shape')
#显示结果
img = cv2.imread('input_image.jpg')
output_image = cv2.imwrite('result.jpg', img)

三、常见错误处理

1. CUDNN版本不匹配

如果CUDNN版本不匹配，尝试以下解决方案：

pip install torch==1.8.1+cu111 torchvision==0.9.1+cu111 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

2. TensorRT版本不兼容

如果发生错误，检查TensorRT版本是否与CUDA和CUDNN版本相匹配。确保你使用正确的TensorRT版本：

例如：

https://github.com/NVIDIA/TensorRT/releases

四、优化与调试

1. 启用FP16加速（如果支持）

TensorRT支持半精度计算，提升性能：

# 在TensorRT配置中启用FP16
export述中按需添加参数，例如：
TRT_ENABLE_FP16=1

2. 硬件加速与性能监控

使用nvidia-smi查看GPU使用情况，确保充分利用硬件资源。

五、总结

通过以上步骤，您可以成功安装并使用TensorRT进行高效的模型推理。在实际使用中，建议根据具体场景调整优化参数，并仔细查看TensorRT日志以解决潜在问题。

转载地址：http://blnyk.baihongyu.com/