Makefile

# =============================================================================
# Root Makefile – DevSpaces Workspace Management
# =============================================================================
#
# Zentrale Steuerung für venv, Dependencies und Server im DevSpaces.
#
# Konzept:
#   /data/venv       → Gemeinsames Virtual Environment
#   /data/hf-cache   → HuggingFace Model Cache
#   /data/outputs    → Training Outputs (Modelle)
#   /data/pip-cache  → pip Download Cache
#
# =============================================================================

# Pfade (überschreibbar via ENV oder devfile)
VENV_PATH    ?= /data/venv
DATA_DIR     ?= /data
HF_CACHE_DIR ?= /data/hf-cache
PIP_CACHE    ?= /data/pip-cache
PYTHON       := $(VENV_PATH)/bin/python
PIP          := $(VENV_PATH)/bin/pip
ACTIVATE     := source $(VENV_PATH)/bin/activate

.PHONY: help devspaces-setup venv install install-pipeline install-server \
        activate server train-lora train-qlora setup-model disk-usage \
        clean-disk clean-checkpoints clean-cache info

# ─────────────────────────────────────────────────────────────────────────────
# Help
# ─────────────────────────────────────────────────────────────────────────────

help:
	@echo ""
	@echo "╔══════════════════════════════════════════════════════════════╗"
	@echo "║           BA DevSpaces – Workspace Management              ║"
	@echo "╠══════════════════════════════════════════════════════════════╣"
	@echo "║                                                            ║"
	@echo "║  Setup:                                                    ║"
	@echo "║    make devspaces-setup  Ersteinrichtung (venv + deps)     ║"
	@echo "║    make install          Alle Dependencies installieren    ║"
	@echo "║    make info             Workspace-Info anzeigen           ║"
	@echo "║                                                            ║"
	@echo "║  Server:                                                   ║"
	@echo "║    make server           Model Server starten              ║"
	@echo "║    make setup-model      Modell-Pfad konfigurieren         ║"
	@echo "║                                                            ║"
	@echo "║  Training:                                                 ║"
	@echo "║    make train-lora       LoRA Fine-Tuning starten          ║"
	@echo "║    make train-qlora      QLoRA Fine-Tuning starten         ║"
	@echo "║                                                            ║"
	@echo "║  Wartung:                                                  ║"
	@echo "║    make disk-usage       Speicherplatz anzeigen            ║"
	@echo "║    make clean-disk       Alles Unnötige aufräumen          ║"
	@echo "║    make clean-checkpoints  Nur Checkpoints löschen         ║"
	@echo "║    make clean-cache      pip + HF Cache leeren             ║"
	@echo "║                                                            ║"
	@echo "║  Venv aktivieren (manuell):                                ║"
	@echo "║    source /data/venv/bin/activate                          ║"
	@echo "║                                                            ║"
	@echo "╚══════════════════════════════════════════════════════════════╝"
	@echo ""

# ─────────────────────────────────────────────────────────────────────────────
# Setup
# ─────────────────────────────────────────────────────────────────────────────

## Ersteinrichtung: venv anlegen + alle Dependencies installieren
devspaces-setup: venv install setup-model info
	@echo ""
	@echo "============================================================"
	@echo " DevSpaces Setup abgeschlossen!"
	@echo "============================================================"
	@echo ""
	@echo " Venv aktivieren:   source $(VENV_PATH)/bin/activate"
	@echo " Server starten:    make server"
	@echo ""

## Shared venv auf /data erstellen
venv:
	@echo "──────────────────────────────────────────────────────────────"
	@echo " Erstelle Virtual Environment auf $(VENV_PATH)"
	@echo "──────────────────────────────────────────────────────────────"
	@mkdir -p $(DATA_DIR)
	@if [ -d "$(VENV_PATH)" ]; then \
		echo "  venv existiert bereits: $(VENV_PATH)"; \
	else \
		python3 -m venv $(VENV_PATH); \
		echo "  venv erstellt: $(VENV_PATH)"; \
	fi
	@$(PIP) install --upgrade pip setuptools wheel --quiet
	@echo "  pip aktualisiert"
	@echo ""

## Alle Dependencies installieren (Pipeline + Server)
install: install-pipeline install-server

## Pipeline Dependencies installieren
install-pipeline:
	@echo "──────────────────────────────────────────────────────────────"
	@echo " Installiere pipeline Dependencies"
	@echo "──────────────────────────────────────────────────────────────"
	@$(PIP) install -r pipeline/requirements.txt
	@echo ""

## Server Dependencies installieren
install-server:
	@echo "──────────────────────────────────────────────────────────────"
	@echo " Installiere model-server Dependencies"
	@echo "──────────────────────────────────────────────────────────────"
	@$(PIP) install -r model-server/requirements.txt
	@echo ""

# ─────────────────────────────────────────────────────────────────────────────
# Server
# ─────────────────────────────────────────────────────────────────────────────

## Model Server starten
server:
	@echo "──────────────────────────────────────────────────────────────"
	@echo " Starte Model Server"
	@echo "──────────────────────────────────────────────────────────────"
	@cd model-server && $(PYTHON) server.py

## Modell-Symlink einrichten (Pipeline Output → Server)
setup-model:
	@echo "──────────────────────────────────────────────────────────────"
	@echo " Konfiguriere Modell-Pfade"
	@echo "──────────────────────────────────────────────────────────────"
	@mkdir -p $(DATA_DIR)/outputs
	@# Symlink: pipeline/outputs → /data/outputs (falls noch nicht vorhanden)
	@if [ -d "pipeline/outputs" ] && [ ! -L "pipeline/outputs" ]; then \
		echo "  Verschiebe bestehende Outputs nach $(DATA_DIR)/outputs ..."; \
		cp -rn pipeline/outputs/* $(DATA_DIR)/outputs/ 2>/dev/null || true; \
		rm -rf pipeline/outputs; \
		ln -sf $(DATA_DIR)/outputs pipeline/outputs; \
		echo "  Outputs verschoben und Symlink erstellt"; \
	elif [ ! -e "pipeline/outputs" ]; then \
		ln -sf $(DATA_DIR)/outputs pipeline/outputs; \
		echo "  Symlink erstellt: pipeline/outputs → $(DATA_DIR)/outputs"; \
	else \
		echo "  Symlink existiert bereits: pipeline/outputs → $(DATA_DIR)/outputs"; \
	fi
	@echo ""

# ─────────────────────────────────────────────────────────────────────────────
# Training
# ─────────────────────────────────────────────────────────────────────────────

## LoRA Training starten
train-lora:
	@cd pipeline && $(PYTHON) scripts/train_lora.py \
		--repo_file data/github_repos.txt \
		--output_dir $(DATA_DIR)/outputs/lora_training \
		--num_epochs 3 \
		--batch_size 4 \
		--gradient_accumulation_steps 8 \
		--learning_rate 5e-5 \
		--use_wandb \
		--save_datasets

## QLoRA Training starten
train-qlora:
	@cd pipeline && $(PYTHON) scripts/train_qlora.py \
		--repo_file data/github_repos.txt \
		--output_dir $(DATA_DIR)/outputs/qlora_training \
		--num_epochs 3 \
		--batch_size 4 \
		--gradient_accumulation_steps 8 \
		--learning_rate 5e-5 \
		--use_wandb \
		--use_existing_datasets $(DATA_DIR)/outputs/lora_training/datasets

# ─────────────────────────────────────────────────────────────────────────────
# Wartung & Info
# ─────────────────────────────────────────────────────────────────────────────

## Speicherplatz-Übersicht
disk-usage:
	@echo "──────────────────────────────────────────────────────────────"
	@echo " Speicherplatz-Übersicht"
	@echo "──────────────────────────────────────────────────────────────"
	@echo ""
	@echo " /projects (Source Code):"
	@du -sh /projects 2>/dev/null || echo "  (nicht verfügbar)"
	@echo ""
	@echo " /data (Extra Volume):"
	@du -sh $(DATA_DIR) 2>/dev/null || echo "  (nicht verfügbar)"
	@echo ""
	@echo " Details /data:"
	@du -sh $(VENV_PATH) 2>/dev/null        || echo "  venv:     (nicht vorhanden)"
	@du -sh $(HF_CACHE_DIR) 2>/dev/null     || echo "  hf-cache: (nicht vorhanden)"
	@du -sh $(DATA_DIR)/outputs 2>/dev/null  || echo "  outputs:  (nicht vorhanden)"
	@du -sh $(PIP_CACHE) 2>/dev/null         || echo "  pip-cache:(nicht vorhanden)"
	@echo ""
	@echo " Disk Free:"
	@df -h /data 2>/dev/null || df -h / 2>/dev/null
	@echo ""

## Alles Unnötige aufräumen
clean-disk: clean-checkpoints clean-cache
	@echo "──────────────────────────────────────────────────────────────"
	@echo " Aufräumen abgeschlossen"
	@echo "──────────────────────────────────────────────────────────────"
	@find /projects -type d -name "__pycache__" -exec rm -rf {} + 2>/dev/null || true
	@find /projects -type f -name "*.pyc" -delete 2>/dev/null || true
	@echo "  __pycache__ entfernt"
	@$(MAKE) disk-usage

## Checkpoints löschen (nur final_model behalten)
clean-checkpoints:
	@echo " Lösche Training-Checkpoints..."
	@find $(DATA_DIR)/outputs -type d -name "checkpoint-*" -exec rm -rf {} + 2>/dev/null || true
	@echo "  Checkpoints entfernt (final_model bleibt erhalten)"

## pip + HuggingFace Cache leeren
clean-cache:
	@echo " Leere Caches..."
	@$(PIP) cache purge 2>/dev/null || true
	@rm -rf $(PIP_CACHE)/* 2>/dev/null || true
	@echo "  pip Cache geleert"

## Workspace-Info anzeigen
info:
	@echo "──────────────────────────────────────────────────────────────"
	@echo " Workspace Info"
	@echo "──────────────────────────────────────────────────────────────"
	@echo ""
	@echo "  VENV_PATH:    $(VENV_PATH)"
	@echo "  DATA_DIR:     $(DATA_DIR)"
	@echo "  HF_HOME:      $(HF_CACHE_DIR)"
	@echo "  PIP_CACHE:    $(PIP_CACHE)"
	@echo ""
	@echo "  Python:        $$($(PYTHON) --version 2>/dev/null || echo 'nicht installiert')"
	@echo "  venv aktiv:    $(VENV_PATH)"
	@echo ""
	@echo "  Aktivieren:    source $(VENV_PATH)/bin/activate"
	@echo ""