推理框架

ncnn源码阅读(一)----阅读方法和参考教程

〇、ncnn源码阅读的方法和参考教程目前我的工作涉及推理框架较多，所以就想阅读一些他人的开源框架，来提升自己在语言层面和框架层面的认知。这个过程中发现了一些比较好的教程，我的阅读ncnn源码之旅将参考嘻嘻嘻大佬。一、从下载代码开始…

LLM推理框架Triton Inference Server学习笔记(一): Triton Inference Server整体架构初识

官方文档查阅: TritonInferenceServer文档 1. 写在前面这篇文章开始进行大语言模型(Large Language Model, LLM)的学习笔记整理，这次想从Triton Inference Server框架开始，因为最近工作上用到了一些大模型部署方面的知识， 所以就快速补充了…

移动端推理引擎通用性小测推理引擎引擎公司Commit id(或Tag)链接使用方法MNN阿里巴巴2.6.0https://github.com/tensorflow/tensorflow/tree/v2.13.0-rc1https://mnn-docs.readthedocs.io/en/latest/start/overall.htmlTensorFlow Lite谷歌v2.13.0-rc1https://github.com/te…

【Kuiperinfer】笔记04 计算图的定义

文章目录本节总览PNNX计算图测试模型Graph单元测试 - 输出算子单元测试 - 输出操作数 Operator单元测试 Parameter 和 AttributeOperand单元测试 Kuiperinfer封装从PNNX::Operator到Kuiper::RuntimeOperator初始化RuntimeOperator中的RuntimeOperand初始化RuntimeAttribute初始…

【Kuiperinfer】笔记01 项目预览与环境配置

学习目标实现一个深度学习推理框架设计、编写一个计算图实现常见的算子，例如卷积、池化、全连接学会如何进行算子的优化加速使用自己的推理框架推理常见模型，检查结果是否能够和torch对齐什么是推理框架？ 推理框架用于对已经训练完成的模…

极智AI | 谈谈AI发展第二篇：AI推理框架

欢迎关注我的公众号 [极智视界]，获取我的更多经验分享大家好，我是极智视界，本文来谈谈 AI推理框架，是谈谈AI发展系列的第二篇。邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码下载，链接：https://t.zsxq.com/0aiNxERDq 本文是我写的谈谈 AI 发展系…

【Kuiperinfer】笔记03 张量（Tensor）类设计与实现，单元测试解析

文章目录 Tensor类的组成Tensor类设计数据顺序（行主序/列主序）使用单元测试Tensor类方法描述C中的类模板张量创建单元测试返回维度信息单元测试返回张量中的数据单元测试张量填充单元测试 reshape单元测试逐元素处理单元测试其他辅助函数判空返回数…

八. 实战：CUDA-BEVFusion部署分析-学习CUDA-BEVFusion推理框架设计模式

目录前言0. 简述1. 回顾一下RAII是什么2. 实现类，接口类与命名空间3. CUDA-BEVFusion设计框架(namespace)4. CUDA-BEVFusion设计框架(接口类)5. CUDA-BEVFusion设计框架(实现类)6. CUDA-BEVFusion设计框架(各个类负责的内容)7. CUDA-BEVFusion中的接口函数和实现类…