本地环境运行Llama 3大型模型：可行性与实践指南 - 珩小派的个人空间 - OSCHINA - 中文开源技术交流社区

【直播预告】大模型会取代程序员吗？”

llama3.png

简介：

Llama 是由 Meta（前身为 Facebook）的人工智能研究团队开发并开源的大型语言模型（LLM），它对商业用途开放，对整个人工智能领域产生了深远的影响。继之前发布的、支持 4096 个上下文的 Llama 2 模型之后，Meta 进一步推出了性能更卓越的 Meta Llama 3 系列语言模型，包括一个 8B（80 亿参数）模型和一个 70B（700 亿参数）模型。Llama 3 70B 的性能媲美 Gemini 1.5 Pro，全面超越 Claude 大杯，而 400B+ 的模型则有望与 Claude 超大杯和新版 GPT-4 Turbo 掰手腕

在各种测试基准中，Llama 3 系列模型展现了其卓越的性能，它们在实用性和安全性评估方面与市场上其他流行的闭源模型相媲美，甚至在某些方面有所超越。Meta Llama 3 系列的发布，不仅巩固了其在大型语言模型领域的竞争地位，而且为研究人员、开发者和企业提供了强大的工具，以推动语言理解和生成技术的进一步发展。

项目地址：

https://github.com/meta-llama/llama3

llama2 和 llama3 的差异

llama3and3diff.webp

llama3 和 GPT4 的差异

指标

Llama 3

GPT-4

模型规模

70B、400B+

100B、175B、500B

参数类型

Transformer

Transformer

训练目标

Masked Language Modeling、Perplexity

Masked Language Modeling、Perplexity

训练数据

Books、WebText

Books、WebText

性能

SOTA（问答、文本摘要、机器翻译等）

SOTA（问答、文本摘要、机器翻译等）

开源

是

否

Llama 3 的亮点

  • 面向所有人开放：Meta 通过开源 Llama 3 的轻量版本，让前沿的 AI 技术变得触手可及。无论是开发者、研究人员还是对 AI 技术好奇的小伙伴，都可以自由地探索、创造和实验。 Llama 3 提供了易于使用的 API，方便研究人员和开发者使用。
  • 模型规模大：Llama 3 400B+ 模型的参数规模达到了 4000 亿，属于大型语言模型。
  • 即将融入各种应用： Llama 3 目前已经赋能 Meta AI，Meta AI 体验地址：https://www.meta.ai/

llama3-pre-trained.png

llama3-8b-70b.webp

llam3-15T-tokens.png

在 Windows 上使用 Ollama，运行 Llama3 模型

访问 https://ollama.com/download/windows 页面，下载 OllamaSetup.exe 安装程序。

安装后，根据自身电脑配置，选择对应模型参数安装 (运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存)

我这里运行的是 Llama3:8b，可以看出，中文还是有点问题

ollama3.png

Model

Parameters

Size

Download

Llama 3

8B

4.7GB

ollama run llama3

Llama 3

70B

40GB

ollama run llama3:70b

Mistral

7B

4.1GB

ollama run mistral

Dolphin Phi

2.7B

1.6GB

ollama run dolphin-phi

Phi-2

2.7B

1.7GB

ollama run phi

Neural Chat

7B

4.1GB

ollama run neural-chat

Starling

7B

4.1GB

ollama run starling-lm

Code Llama

7B

3.8GB

ollama run codellama

Llama 2 Uncensored

7B

3.8GB

ollama run llama2-uncensored

Llama 2 13B

13B

7.3GB

ollama run llama2:13b

Llama 2 70B

70B

39GB

ollama run llama2:70b

Orca Mini

3B

1.9GB

ollama run orca-mini

LLaVA

7B

4.5GB

ollama run llava

Gemma

2B

1.4GB

ollama run gemma:2b

Gemma

7B

4.8GB

ollama run gemma:7b

Solar

10.7B

6.1GB

ollama run solar

Hugging Face 使用

访问：https://huggingface.co/chat/ 然后切换 Models

Replicate 使用

8B 模型：https://replicate.com/meta/meta-llama-3-8b

70B 模型：https://replicate.com/meta/meta-llama-3-70b

本文是转载文章 珩小派，版权归原作者所有。建议访问原文，转载本文请联系原作者。

原网址: 访问
创建于: 2024-04-24 10:39:43
目录: default
标签: 无

未标明原创文章均为采集，版权归作者所有，转载无需和我联系，请注明原出处，南摩阿彌陀佛，知识，不只知道，要得到

请先后发表评论
  • 最新评论
  • 总共0条评论