RAG文档读取范式之三——结构化/半结构化数据读取

一、核心定义、支持平台与适用场景定义从数据库、协作平台、API 等结构化数据源读取数据实现数据的文本化转换与统一提取适配 RAG 知识库构建需求。支持平台涵盖主流数据库MySQL、PostgreSQL、企业协作平台飞书文档、Notion、Confluence及自定义 API。适用场景企业知识库搭建、业务数据问答系统开发、内部文档检索等企业级 RAG 落地场景。二、分类型实战总结LangChain LlamaIndex 双框架1. 数据库MySQL / PostgreSQL核心目标从关系型数据库中读取指定字段数据转为 RAG 可处理的文档格式支持精准筛选数据如按状态筛选已发布文档。框架核心加载器关键操作输出特点LlamaIndexDatabaseReader通过 URI 连接数据库执行 SQL 查询筛选数据输出简洁直接提取文本内容可统计读取条数LangChainSQLDatabaseLoader先创建数据库引擎再执行 SQL 查询加载数据保留字段映射关系输出内容包含字段名与对应值示例效果均可稳定读取指定条件的数据如示例中读取100条已发布文档适配企业业务数据入库场景。LlamaIndex 代码from llama_index.readers.database import DatabaseReader # 连接数据库 reader DatabaseReader( uripostgresql://user:passhost:5432/db ) # 执行 SQL 查询 documents reader.load_data( querySELECT id, title, content FROM docs WHERE statuspublished; ) print(f数据库读取条数{len(documents)}) print(第一条数据内容, documents[0].text[:200])输出示例数据库读取条数100 第一条数据内容 标题RAG 企业落地实践 内容本文详细介绍企业级 RAG 系统构建流程包括文档解析、分块、向量库构建、检索策略优化等。LangChain 代码from langchain_community.document_loaders import SQLDatabaseLoader from sqlalchemy import create_engine # 创建数据库引擎 engine create_engine(postgresql://user:passhost:5432/db) # 加载数据 loader SQLDatabaseLoader( querySELECT id, title, content FROM docs WHERE statuspublished;, engineengine ) docs loader.load() print(f数据库读取条数{len(docs)}) print(第一条数据, docs[0].page_content[:200])输出示例数据库读取条数100 第一条数据 id: 1 title: RAG 企业落地实践 content: 本文详细介绍企业级 RAG 系统构建流程...2. 飞书文档核心目标读取企业飞书文档中的内容实现内部知识库的统一接入支持多文档批量读取。框架核心加载器关键操作输出特点LlamaIndexFeishuDocsReader填入飞书 app_id、app_secret指定多个文档ID批量读取可统计读取文档数量输出文档正文前N字预览LangChainFeishuDocsLoader填入飞书授权信息指定单个文档ID读取直接输出文档正文格式与LlamaIndex输出一致示例效果均可精准提取飞书文档正文如技术规范、工作总结适配企业内部文档检索场景。LlamaIndex 代码from llama_index.readers.feishu import FeishuDocsReader # 填入飞书应用信息 reader FeishuDocsReader( app_idxxx, app_secretxxx ) documents reader.load_data( document_ids[文档ID1, 文档ID2] ) print(f飞书文档读取数量{len(documents)}) print(第一篇内容前200字, documents[0].text[:200])输出示例飞书文档读取数量2 第一篇内容前200字 飞书知识库·技术规范 版本2024.12 一、编码规范 二、接口设计 三、文档结构要求LangChain 代码from langchain_community.document_loaders import FeishuDocsLoader loader FeishuDocsLoader( app_idxxx, app_secretxxx, document_id文档ID ) docs loader.load() print(飞书文档内容前200字, docs[0].page_content[:200])输出示例飞书文档内容前200字 飞书知识库·技术规范 版本2024.12 一、编码规范 二、接口设计 三、文档结构要求3. Notion 文档核心目标接入 Notion 知识库内容支持两种读取方式直接读取页面、加载本地导出文件适配不同使用场景。框架核心加载器关键操作输出特点LlamaIndexNotionPageReader使用 integration_token 授权指定多个页面ID读取可统计读取数量输出文档正文预览操作简洁LangChainNotionDirectoryLoader加载本地 Notion 导出文件无需在线授权批量读取导出的所有文档适配离线场景示例效果两种方式均可提取 Notion 文档核心内容如学习笔记、知识库条目适配不同授权/离线需求。LlamaIndex 代码from llama_index.readers.notion import NotionPageReader reader NotionPageReader( integration_tokensecret_xxx ) documents reader.load_data( page_ids[page_id_1, page_id_2] ) print(fNotion 读取数量{len(documents)}) print(内容前200字, documents[0].text[:200])输出示例Notion 读取数量2 内容前200字 Notion 知识库 · RAG 学习笔记 1. 向量数据库选型 2. 文本分块策略 3. 检索优化方法LangChain 代码from langchain_community.document_loaders import NotionDirectoryLoader # 加载 Notion 导出文件 loader NotionDirectoryLoader(./notion_export) docs loader.load() print(fNotion 文档数量{len(docs)}) print(内容前200字, docs[0].page_content[:200])输出示例Notion 文档数量2 内容前200字 Notion 知识库 · RAG 学习笔记 1. 向量数据库选型 2. 文本分块策略 3. 检索优化方法三、核心选型与注意事项1. 框架选型逻辑追求简洁高效优先选择 LlamaIndex所有场景均支持一键授权/连接代码更简洁无需额外配置如数据库无需手动创建引擎。需要灵活扩展优先选择 LangChain支持自定义数据库引擎、离线加载等场景适配复杂业务逻辑。2. 关键注意事项授权信息飞书、Notion 读取需提前获取对应授权信息app_id、app_secret、integration_token否则会导致加载失败。数据库配置连接数据库时需确保 URI/引擎配置正确用户名、密码、主机、端口、数据库名无误且具备对应查询权限。数据筛选SQL 查询需精准编写避免读取无关数据提升 RAG 检索效率文档读取可通过指定ID/目录实现精准批量加载。格式统一两种框架输出的文本内容格式一致均可直接进入后续分块、向量化流程无需额外格式转换。四、一句话总结结构化数据源读取核心是「授权/连接精准筛选文本化输出」LlamaIndex 主打简洁高效LangChain 侧重灵活扩展可根据企业授权方式、业务需求选择适配框架完美支撑企业级 RAG 知识库搭建。