Hugging Face AutoTrain

단일 CLI 파라미터만으로 코드 없이 모델 트레이닝을 수행할 수 있는 Hugging Face AutoTrain에서 W&B 실험 추적을 사용하세요.

Hugging Face AutoTrain은 자연어 처리(NLP), 컴퓨터 비전(CV), 음성, 테이블형 작업을 위한 모델을 트레이닝할 수 있는 노코드 도구입니다.

Hugging Face AutoTrain은 실험 추적과 설정 관리를 위해 W&B와 직접 통합됩니다. 실험에는 CLI 명령어에서 파라미터 하나만 추가하면 됩니다.

이 페이지에서는 Hugging Face AutoTrain으로 모델을 트레이닝할 때 W&B 실험 추적을 활성화하는 방법을 설명합니다. 추가 코드를 작성하지 않고도 모든 run의 메트릭과 설정을 캡처할 수 있습니다. 이 페이지는 이미 AutoTrain에 익숙하며 트레이닝 워크플로에 관측성을 추가하려는 사용자를 위한 것입니다.

사전 요구 사항 설치

모델을 트레이닝하고 결과를 W&B에 로깅하려면 먼저 AutoTrain CLI와 W&B 클라이언트 라이브러리를 설치하세요. autotrain-advanced와 wandb를 설치합니다.

명령줄

pip install --upgrade autotrain-advanced wandb

노트북

!pip install --upgrade autotrain-advanced wandb

이러한 변경 사항을 설명하기 위해, 이 페이지에서는 수학 데이터셋으로 LLM을 파인튜닝하고 GSM8k Benchmarks에서 pass@1을 평가합니다.

데이터셋 준비

트레이닝을 시작하기 전에 AutoTrain이 기대하는 형식에 맞도록 데이터셋을 준비하세요. Hugging Face AutoTrain이 제대로 작동하려면 CSV 맞춤형 데이터셋이 특정 형식을 갖춰야 합니다.

트레이닝 파일에는 트레이닝에 사용하는 text 열이 반드시 포함되어야 합니다. text 열의 데이터는 ### Human: Question?### Assistant: Answer. 형식을 따라야 합니다. 예시는 timdettmers/openassistant-guanaco에서 확인할 수 있습니다.

하지만 MetaMathQA 데이터셋에는 query, response, type 열이 포함되어 있습니다. 먼저 이 데이터셋을 전처리하세요. type 열을 제거하고, query 열과 response 열의 내용을 ### Human: Query?### Assistant: Response. 형식의 새로운 text 열로 결합하세요. 트레이닝에는 이렇게 만든 데이터셋인 rishiraj/guanaco-style-metamath을 사용합니다.

autotrain을 사용해 트레이닝하기

환경과 데이터셋이 준비되었다면 이제 트레이닝을 시작할 수 있습니다. 명령줄이나 노트북에서 autotrain advanced를 사용해 트레이닝을 시작할 수 있습니다. --log 인수를 사용하거나 --log wandb를 사용해 결과를 run에 로깅하세요. --log wandb 인수는 이 run에 대한 W&B integration을 활성화합니다.

<huggingface-token>은 Hugging Face 액세스 토큰으로, <huggingface-repository-address>는 대상 저장소 주소(예: your-username/your-repo)로 바꾸세요.

명령줄

autotrain llm \
    --train \
    --model HuggingFaceH4/zephyr-7b-alpha \
    --project-name zephyr-math \
    --log wandb \
    --data-path data/ \
    --text-column text \
    --lr 2e-5 \
    --batch-size 4 \
    --epochs 3 \
    --block-size 1024 \
    --warmup-ratio 0.03 \
    --lora-r 16 \
    --lora-alpha 32 \
    --lora-dropout 0.05 \
    --weight-decay 0.0 \
    --gradient-accumulation 4 \
    --logging_steps 10 \
    --fp16 \
    --use-peft \
    --use-int4 \
    --merge-adapter \
    --push-to-hub \
    --token <huggingface-token> \
    --repo-id <huggingface-repository-address>

노트북

# 하이퍼파라미터 설정
learning_rate = 2e-5
num_epochs = 3
batch_size = 4
block_size = 1024
trainer = "sft"
warmup_ratio = 0.03
weight_decay = 0.
gradient_accumulation = 4
lora_r = 16
lora_alpha = 32
lora_dropout = 0.05
logging_steps = 10

# 트레이닝 실행
!autotrain llm \
    --train \
    --model "HuggingFaceH4/zephyr-7b-alpha" \
    --project-name "zephyr-math" \
    --log "wandb" \
    --data-path data/ \
    --text-column text \
    --lr str(learning_rate) \
    --batch-size str(batch_size) \
    --epochs str(num_epochs) \
    --block-size str(block_size) \
    --warmup-ratio str(warmup_ratio) \
    --lora-r str(lora_r) \
    --lora-alpha str(lora_alpha) \
    --lora-dropout str(lora_dropout) \
    --weight-decay str(weight_decay) \
    --gradient-accumulation str(gradient_accumulation) \
    --logging-steps str(logging_steps) \
    --fp16 \
    --use-peft \
    --use-int4 \
    --merge-adapter \
    --push-to-hub \
    --token str(hf_token) \
    --repo-id "rishiraj/zephyr-math"

트레이닝이 시작되면 AutoTrain이 run의 메트릭과 설정을 W&B에 로깅하며, 여기에서 프로젝트의 다른 run과 함께 이를 검토할 수 있습니다.

추가 리소스

• 이제 AutoTrain Advanced에서 실험 추적을 지원합니다 - Rishiraj Acharya 작성
• Hugging Face AutoTrain 문서