揭秘容器内存统计

本文整理了容器内存统计相关内容，揭秘了 PageCache、cgroup 以及 OOM 等容器相关的真相。

2024/09/05 16:17 下午 posted in Kubernetes

Ollama + JuiceFS：一次拉取，到处运行

Ollma 是一个简化大模型部署和运行的工具，一方面通过提供类 Docker 的使用方式，运行一个大模型实例就和启动一个容器一样简单，另一方面，通过提供 OpenAI 兼容的 API，磨平大模型之间的使用差异。

2024/08/27 18:03 下午 posted in 大模型

浅析 Rook 如何管理 Ceph Cluster

最近做了很多 Rook 的调研工作，边学习边梳理清楚了 Rook 如何管理 Ceph 集群。这篇文章就来讲解 Rook 如何将 Ceph 这么复杂的系统在 Kubernetes 中进行管理和维护。

2024/07/26 22:27 下午 posted in Kubernetes

浅析 MemGPT

MemGPT 针对 LLM 上下文有限的困境，参考操作系统的虚拟内存管理，提出了虚拟上下文的概念，分为主上下文和外部上下文，实现了无限 token。

2024/07/04 21:59 下午 posted in 大模型

详解 SELF-RAG 框架

自我反思检索增强生成（SELF-RAG）是一种通过检索和自我反思提高 LLM 质量和事实准确性的框架，而不损害 LLM 的原始创造力和多功能性。

2023/12/27 21:53 下午 posted in 大模型

Copyright © 2020 Powered by MWeb, Theme used GitHub CSS.