人工智能时代的破局与探索:编程与创作
今天早上看到一篇文章,标题挺有意思:《The Safest Job from AI may be Writing》,作者是 MongoDB 的首席科学家 Murat。大意是,在 AI 已经能写代码、查 Bug,甚至被一些公司拿来衡量程序员生产力的今天,写作反而可能是一个没那么容易被 AI 取代的领域
中小企业私有化大模型硬件配置实战
站在中小企业的视角,自研私有化大模型的核心诉求从来不是极致高并发、超大参数量模型集群,而是低成本采购、单人可运维、稳定支撑日常业务问答、文档摘要、内部知识库检索这类轻量化场景。 市面上很多算力教程都是面向互联网大厂、AI 实验室撰写,动辄多卡分布式、A100/H100 专业算力卡,完全脱离中小团队的
Token 暴涨、上下文爆炸的 5 种真实业务优化
做大模型应用,最容易被忽视但最致命的问题就是 Token 爆炸。很多项目原型跑得很好,一上线就崩,不是模型不行,而是上下文直接撑爆。 固定做 5 件事,基本能把 Token 压到原来的 1/3 甚至更少。 第一,历史对话必须截断。没有人需要无限长的上下文,保留最近 5~10 轮足够。 第二,系统提示
SSE 流式返回不稳定问题彻底解决
在私有化大模型项目里,想要实现类似 ChatGPT 逐字输出的流式效果,绝大多数人都会选择 SSE 方案。前后端框架集成看起来简单,但真正部署到公网环境后,各类隐性问题会陆续暴露:前端经常莫名断连、模型生成到一半数据流中断、部分网络环境下完全收不到推送内容。过去一段时间,我在三个不同的项目中都碰到同
本地大模型分离部署逻辑推理服务器实战(下)
3、异步升级思路: Python环境加入Redis: pip install redis 使用AioRedis消除线程阻塞,配合FastAPI 实现高并发,Nginx禁用缓冲及超长等待,Python加入心跳保活,前端防止SSE响应并加入重连 2、代码升级:</
本地大模型分离部署逻辑推理服务器实战(上)
1、前置准备: Python环境: Conda python3.10.20 Python包基础依赖: fastapi==0.109.0 uvicorn==0.27.0 pika==1.3.2 pydantic==2.5.3 pydantic-settings==2.1.0 RabbitMQ 环境:
window10安装最新的Erlang 和RabbitMq
1、版本兼容: 打开https://www.rabbitmq.com/docs/which-erlang看需要安装的RabbitMq和Erlang版本兼容。 2、下载Erlang
安装RabbitMQ服务名无效的解决方案
在 Windows 环境下安装 RabbitMQ 时,遇到 “服务名无效。请键入 NET HELPMSG 2185 以获得更多的帮助” 报错的解决方法: 1. 报错原因 该错误通常是由于上一次卸载 RabbitMQ 或 Erlang 时存在残留文件,导致重新安装时系统无法正确识别和注册服务。 2.
暮色里的青山
人活得久了,或者说在红尘里奔跑得太急,往往会落下一片影子在身后。那影子沉重、黏稠,名字叫作“执念”。直到某个偶然的黄昏,斜阳将所有坚硬的线条都剪裁得柔软,人站在风里,看着天边如泼墨般晕染开来的血色残阳,突然之间,那句诗就从心底泛了上来:“物我俱忘心自闲,夕阳红处看青山。” 这实在是一种极奢侈的境界。
坐忘修心,天地有大美
古人说:“人法地,地法天,天法道,道法自然。”修行一事,在很多人眼中是青灯古佛、闭关辟谷的苦旅。然而在我看来,真正的潜心修行,不过是一场“复归于朴”的远行——卸下满身的铠甲与心机,去和一片草木合流,去和一缕清风握手。 修行,是退一步的智慧,是从“我执”走向“天人合一”的觉醒。 我们活在一个太容易迷失