VLA & WAM 学习实践

从理论到实践，掌握 VLA (Vision-Language-Action) 和 WAM (World Action Model) 的训练全流程。

项目结构

VLA_WAM_Practice/
├── starVLA/                      # StarVLA 上游代码（需自行 clone，不在本仓库中）
├── VLA_WAM_Docs/                 # 学习文档
│   ├── Learning_Plan.md          # 主学习计划 & 进度追踪（← 从这里开始）
│   ├── Repo_Overview.md          # StarVLA 仓库速览 + VLA 算法简介
│   ├── OFT_Study.md              # OFT 深入学习文档
│   └── Papers_Summary/           # 论文研读
│       └── OpenVLA_OFT_Papers.md # OpenVLA & OpenVLA-OFT 论文研读
├── README.md                     # 本文
└── .gitignore

当前进度

Phase 1（VLA 入门）进行中 — 已完成环境搭建、模型和数据下载、Smoke Test。

详见 VLA_WAM_Docs/Learning_Plan.md 的 Phase 1 章节。

硬件说明

本项目的初始开发环境是 NVIDIA RTX 5090 (32GB, Blackwell)，操作系统 Linux。
其他设备克隆后请根据自己硬件调整：

• GPU 非 5090 → 可以尝试安装 flash-attn（见 StarVLA 官方文档）
• GPU 显存 < 24GB → 调小 per_device_batch_size
• CUDA 版本不同 → 安装对应 PyTorch 版本

数据 & 模型

以下文件在开发机上已下载完成，因体积较大不纳入版本控制：

内容	路径（相对 starVLA/）	大小
Qwen3-VL-2B-Instruct	playground/Pretrained_models/Qwen3-VL-2B-Instruct/	~4GB
LIBERO 数据集	playground/Datasets/LIBERO/libero/	~3.6GB
数据集软链	playground/Datasets/LEROBOT_LIBERO_DATA → LIBERO/libero	-

其他机器需按 StarVLA 官方指南自行下载。

快速启动（仅做参考，按原项目 README 为准）

# 1. Clone
git clone https://github.com/starVLA/starVLA.git
cd starVLA
git checkout starVLA_dev  # 对齐此项目的开发分支

# 2. Conda 环境
conda create -n starvla python=3.10 -y
conda activate starvla
pip install -r requirements.txt
pip install -e .

# 3. 下载模型 & 数据（huggingface-cli / git LFS）
# 4. 运行 smoke test
python starVLA/model/framework/VLM4A/QwenOFT.py

学习文档

• VLA_WAM_Docs/Learning_Plan.md — 主学习计划 & 进度追踪
• VLA_WAM_Docs/Repo_Overview.md — StarVLA 代码结构、框架清单、六种 VLA 算法简介
• VLA_WAM_Docs/OFT_Study.md — OFT 架构、Forward 数据流、MLP 动作头、训练配置详解
• VLA_WAM_Docs/Papers_Summary/OpenVLA_OFT_Papers.md — OpenVLA & OpenVLA-OFT 论文研读