2026最新大模型算法岗面试八股文【基础篇100题】，金九银十季，涨薪涨薪（精简、纯手打）

最近秋招正在如火如荼地进行中看到很多人的简历上都包含大模型相关的工作各家大厂和初创都很舍得给钱动辄百万年包也变得不再稀奇。因此在大模型纵横的这个时代不仅大模型技术越来越卷就连大模型相关的岗位和面试也开始越来越卷了。本文总结了100道大模型算法岗常见的面试题含答案篇幅限制部分内容如下。一、基础篇1、目前主流的开源模型体系有哪些Transformer体系由Google提出的Transformer 模型及其变体如BERT、GPT 等。PyTorch Lightning一个基于PyTorch的轻量级深度学习框架用于快速原型设计和实验。TensorFlow Model GardenTensorFlow官方提供的一系列预训练模型和模型架构。Hugging Face Transformers一个流行的开源库提供了大量预训练模型和工具用于NLP 任务。2、prefix LM和causal LM区别是什么?prefix LM (前缀语言模型)在输入序列的开头添加一个可学习的任务相关的前缀然后使用这个前缀和输入序列一起生成输出。这种方法可以引导模型生成适应特定任务的输出。causal LM (因果语言模型)也称为自回归语言模型它根据之前生成的 token 预测下一个token。在生成文本时模型只能根据已经生成的部分生成后续部分不能访问未来的信息。3、涌现能力是啥原因?涌现能力 (Emergent Ability) 是指模型在训练过程中突然表现出的新的、之前未曾预料到的能力。这种现象通常发生在大型模型中原因是大型模型具有更高的表示能力和更多的参数可以更好地捕捉数据中的模式和关联。随着模型规模的增加它们能够自动学习到更复杂、更抽象的概念和规律从而展现出涌现能力。4、大模型LLM的架构介绍?大模型LLM(Large Language Models) 通常采用基于Transformer的架构。Transformer模型由多个编码器或解码器层组成每个层包含多头自注意力机制和前馈神经网络。这些层可以并行处理输入序列中的所有位置捕获长距离依赖关系。大模型通常具有数十亿甚至数千亿个参数可以处理大量的文本数据并在各种NLP任务中表现出色。前馈神经网络 (Feedforward Neural Network) 是一种最基础的神经网络类型它的信息流动是单向的从输入层经过一个或多个隐藏层最终到达输出层。在前馈神经网络中神经元之间的连接不会形成闭环这意味着信号在前向传播过程中不会回溯。前馈神经网络的基本组成单元是神经元每个神经元都会对输入信号进行加权求和然后通过一个激活函数产生输出。激活函数通常是非线性的它决定了神经元的输出是否应该被激活从而允许网络学习复杂和非线性的函数。前馈神经网络在模式识别、函数逼近、分类、回归等多个领域都有应用。例如在图像识别任务中网络的输入层节点可能对应于图像的像素值而输出层节点可能代表不同类别的概率分布。训练前馈神经网络通常涉及反向传播 (Backpropagation) 算法这是一种有效的学习算法通过计算输出层的误差并将这些误差信号沿网络反向传播以调整连接权重。通过多次迭代这个过程网络可以逐渐学习如何减少输出误差从而实现对输入数据的正确分类或回归。在设计和训练前馈神经网络时需要考虑多个因素包括网络的层数、每层的神经元数目、激活函数的选择、学习速率、正则化策略等这些都对网络的性能有重要影响。5、目前比较受欢迎的开源大模型有哪些?GPT系列由OpenAl开发的生成式预训练模型如 GPT-3。BERT系列由Google开发的转换式预训练模型如BERT、RoBERTa等。T5系列由Google开发的基于Transformer的编码器-解码器模型如T5、mT5等。6、目前大模型模型结构都有哪些?Transformer基于自注意力机制的模型包括编码器、解码器和编码器-解码器结构。GPT系列基于自注意力机制的生成式预训练模型采用解码器结构。BERT系列基于自注意力机制的转换式预训练模型采用编码器结构。T5系列基于Transformer的编码器-解码器模型。7、prefix LM和causal LM、encoder-decoder区别及各自有什么优缺点?prefix LM通过在输入序列前添加可学习的任务相关前缀引导模型生成适应特定任务的输 出。优点是可以减少对预训练模型参数的修改降低过拟合风险缺点是可能受到前缀表示长度的限制无法充分捕捉任务相关的信息。causal LM根据之前生成的 token预测下一个 token, 可以生成连贯的文本。优点是可以生成灵 活的文本适应各种生成任务缺点是无法访问未来的信息可能生成不一致或有误的内容。encoder-decoder由编码器和解码器组成编码器将输入序列编码为固定长度的向量解码器 根据编码器的输出生成输出序列。优点是可以处理输入和输出序列不同长度的任务如机器翻译缺点是模型结构较为复杂训练和推理计算量较大。8、模型幻觉是什么?业内解决方案是什么?模型幻觉是指模型在生成文本时产生的不准确、无关或虚构的信息。这通常发生在模型在缺乏足够信息的情况下进行推理或生成时。业内的解决方案包括使用更多的数据和更高质量的训练数据来提高模型的泛化和准确性。引入外部知识源如知识库或事实检查工具以提供额外的信息和支持。强化模型的推理能力和逻辑推理使其能够更好地处理复杂问题和避免幻觉。9、大模型的Tokenizer的实现方法及原理?大模型的Tokenizer通常使用字节对编码 (Byte-Pair Encoding,BPE) 算法。BPE算法通过迭代地将最频繁出现的字节对合并成新的符号来构建一个词汇表。在训练过程中模型会学习这些符号的嵌入表示。Tokenizer将输入文本分割成符号序列然后将其转换为模型可以处理的数字表示。这种方法可以有效地处理大量文本数据并减少词汇表的规模。10、ChatGLM3的词表实现方法?ChatGLM3 使用了一种改进的词表实现方法。它首先使用字节对编码 (BPE) 算法构建一个基本的词表然后在训练过程中通过不断更新词表来引入新的词汇。具体来说ChatGLM3 在训练 过程中会根据输入数据动态地合并出现频率较高的字节对从而形成新的词汇。这样可以有效地处理大量文本数据并减少词汇表的规模。同时ChatGLM3 还使用了一种特殊的词表分割方法将词表分为多个片段并在训练过程中逐步更新这些片段以提高模型的泛化能力和适应性。11、GPT3、LLAMA、ChatGLM的Layer Normalization的区别是什么?各自的优缺点是什么?GPT3采用了Post-Layer Normalization (后标准化)的结构即先进行自注意力或前馈神经网络的计算然后进行Layer Normalization。这种结构有助于稳定训练过程提高模型性能。LLAMA采用了Pre-Layer Normalization (前标准化)的结构即先进行Layer Normalization,然后进行自注意力或前馈神经网络的计算。这种结构有助于提高模型的泛化能力和鲁棒性。ChatGLM采用了Post-Layer Normalization的结构类似于GPT3。这种结构可以提高模型的性能和稳定性。12、大模型常用的激活函数有哪些ReLURectified Linear Unit一种简单的激活函数可以解决梯度消失问题加快训练速度。GeLUGaussian Error Linear Unit一种改进的ReLU函数可以提供更好的性能和泛化能力。Swish一种自门控激活函数可以提供非线性变换并具有平滑和非单调的特性。13、多查询注意力与群查询注意力是否了解**?区别是什么?**Multi-query Attention 和 Grouped-query Attention 是两种不同的注意力机制变种用于改进和扩展传统的自注意力机制。Multi-query Attention在Multi-query Attention中每个查询可以与多个键值对进行交互从而 捕捉更多的上下文信息。这种机制可以提高模型的表达能力和性能特别是在处理长序列或复杂关系时。Grouped-query Attention在Grouped-query Attention中查询被分成多个组每个组内的查询与对应的键值对进行交互。这种机制可以减少计算复杂度提高效率同时仍然保持较好的性能。14、多模态大模型是否有接触?落地案例?多模态大模型是指可以处理和理解多种模态数据如文本、图像、声音等的模型。落地案例例如OpenAI的DALL-E和GPT-3DALL-E是一个可以生成图像的模型而GPT-3可以处理和理解文本。两者结合可以实现基于文本描述生成图像的功能。Google的Multimodal Transformer这是一个可以同时处理文本和图像的模型用于各种多模态任务如图像字幕生成、视觉问答等。二、进阶篇1、llama输入句子长度理论上可以无限长吗?LLaMALarge Language Model Adaptation模型的输入句子长度受到硬件资源和模型设计的限制。理论上如果硬件资源足够模型可以处理非常长的输入句子。然而实际上由于内存和处理能力的限制输入句子长度通常是有限制的。在实际应用中开发者会根据具体需求和硬件配置来确定合适的输入句子长度。2、什么是LLMs复读机问题**?**LLMs复读机问题是指在某些情况下大型语言模型在生成文本时会重复之前已经生成的内容导致生成的文本缺乏多样性和创造性。3、为什么会出现LLMs复读机问题?LLMs复读机问题可能由多种因素引起包括模型训练数据中的重复模式、模型在处理长序列时的注意力机制失效、或者模型在生成文本时对过去信息的过度依赖等。4、如何缓解LLMs复读机问题?数据增强通过增加训练数据的多样性和复杂性减少重复模式的出现。模型改进改进模型的结构和注意力机制使其更好地处理长序列和避免过度依赖过去信息。生成策略在生成文本时采用多样化的策略如抽样生成或引入随机性以增加生成文本的多样性。5、什么情况用Bert 模型什么情况用LLaMA、ChatGLM类大模型?BERT模型通常用于需要理解文本深层语义的任务如文本分类、命名实体识别等。LLaMA和 ChatGLM类大模型则适用于需要生成文本或进行更复杂语言理解的任务如对话系统、文本生成等。选择哪种模型取决于任务的需求和可用资源。6、各个专业领域是否需要各自的大模型来服务**?**不同的专业领域需要特定的大模型来更好地服务。专业领域的大模型可以针对特定领域的语言 和知识进行优化提供更准确和相关的回答和生成文本。7、如何让大模型处理更长的文本?使用模型架构如Transformer, 它可以有效地处理长序列。使用内存机制如外部记忆或缓存来存储和检索长文本中的信息。使用分块方法将长文本分割成更小的部分然后分别处理这些部分。大模型参数微调、训练、推理8、如果想要在某个模型基础上做全参数微调究竟需要多少显存**?**全参数微调 (Full Fine-Tuning) 通常需要大量的显存因为这种方法涉及到更新模型的所有参数。显存的需求取决于模型的规模、批量大小、以及使用的硬件。例如对于大型模型如GPT- 3,可能需要多个GPU甚至TPU来分配显存每个GPU或TPU可能需要几十GB的显存。在实际操作中需要进行试错法来确定合适的批量大小和硬件配置。9、为什么SFT之后感觉LLM傻了?SFTSupervised Fine-Tuning之后感觉LLMLarge Language Model“傻了”可能是因为微调过程中出现了以下问题过拟合模型可能过度适应训练数据导致在新数据上的泛化能力下降。数据质量如果训练数据质量不高模型可能学到了错误的模式或偏见。微调强度微调的强度可能不够导致模型没有充分适应新的任务。在这种情况下模型可能没有学习到足够的特定领域的知识因此在执行相关任务时表现不佳。10、SFT指令微调数据如何构建?收集或生成与特定任务相关的指令和数据对其中指令是描述任务或要求的文本数据是对应的输入输出示例。清洗和预处理数据以确保数据的质量和一致性。根据任务需求对数据进行增强如使用数据增强技术生成更多的训练样本。将数据格式化为模型训练所需的格式例如对于语言模型通常需要将文本转化为模型可以理解的数字编码。11、领域模型Continue PreTrain数据选取**?**领域模型继续预训练Continue Pre-Training的数据选取应该基于领域内的文本特点和应用需求。通常需要选取大量、高质量、多样化的领域文本数据。数据可以来自专业文献、行业报告、在线论坛、新闻文章等。数据选取时应该注意避免偏见和不平衡确保数据能够全面地代表领域内的知识和语言使用。12、领域数据训练后通用能力往往会有所下降如何缓解模型遗忘通用能力?多任务学习在训练过程中同时包含领域内和通用的任务使模型能够同时学习领域特定的和通用的知识。控制微调强度通过调整微调的学习率或训练轮数来控制模型对领域数据的适应程度。定期回炉在领域数据训练后定期使用通用数据进行回炉训练以保持模型的通用能力。知识蒸馏使用一个预训练的通用模型来指导领域模型帮助模型保持通用知识。13、领域模型Continue PreTrain如何让模型在预训练过程中就学习到更多的知识?数据增强使用数据增强技术如回译、掩码语言模型等来生成更多的训练样本。知识注入将领域特定的知识以文本、结构化数据或知识图谱的形式注入到预训练过程中。多模态学习如果适用可以使用多模态数据(如文本和图像)进行预训练以丰富模型的知识表示。14、进行SFT操作的时候基座模型选用Chat还是Base?在进行指令微调 (SFT) 操作时选择基座模型 (Chat或Base) 取决于具体任务的需求和模型的性能。通常如果任务需要生成对话或交互式响应可以选择对话优化的模型 (Chat)。如果任务更注重理解和生成文本的能力可以选择基础模型 (Base)。在实际应用中可能需要根据实验结果和模型性能来选择最合适的基座模型。15、领域模型微调指令数据输入格式要求?领域模型微调的指令和数据输入格式要求取决于所使用的模型和框架。一般来说指令应该是清晰、具体的能够指导模型完成特定的任务。数据输入格式通常需要与模型的输入接口相匹配例如对于文本模型数据通常需要是字符串格式并且可能需要经过特定的预处理如分词、编码等。16、领域模型微调领域评测集构建?构建领域模型微调的领域评测集时应该确保评测集能够全面、准确地反映领域内的任务需求和性能指标。通常需要从领域内的真实数据中收集或生成评测样本并确保样本的多样性和代表性。此外可以根据任务需求设计定制的评价指标以评估模型在领域内的性能。17、领域模型词表扩增是不是有必要的?领域模型词表扩增通常是有必要的尤其是当领域内有大量的专业术语或特定词汇时。词表扩 增可以帮助模型更好地理解和生成领域内的文本提高模型的领域适应性。然而词表扩增也需要谨慎进行以避免引入过多的噪音或不相关的词汇。18、如何训练自己的大模型?选择合适的预训练目标和任务确定模型将学习哪些通用的语言知识以及针对哪些特定任务进行优化。收集和准备数据收集大量、多样化的数据包括通用数据和特定领域的数据进行清洗和预处理。选择模型架构选择一个适合的模型架构如Transformer, 并确定模型的规模和层数。定义训练流程设置训练参数如学习率、批量大小、训练轮数等并选择合适的优化器和损失函数。训练模型使用准备好的数据和训练流程开始训练模型监控训练过程中的性能和资源使用。评估和调优在训练过程中定期评估模型的性能并根据需要调整训练参数和模型架构。微调和优化在模型达到一定的性能后进行微调以适应特定的应用场景和任务需求。19、训练中文大模型有啥经验?使用大量高质量的中文数据包括文本、对话、新闻、社交媒体帖子等。考虑语言的特点如词序、语法结构、多义性等并设计相应的预训练任务。使用适合中文的语言模型架构如BERT 或GPT, 并进行适当的调整以优化性能。考虑中文的特殊字符和标点确保模型能够正确处理这些字符。进行多任务学习同时训练多个相关任务以提高模型的泛化能力。这份《大模型算法岗面试基础篇100题》已经上传CSDN还有完整版的大模型 AI 学习资料朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】PDF书籍完整版本链接获取[CSDN大礼包《大模型算法岗面试基础篇100题》免费分享安全链接放心点击]