Databricks

W&B는 Databricks 환경에서 W&B Jupyter 노트북 사용 환경을 맞춤화하는 방식으로 Databricks와 통합됩니다. 이 페이지에서는 Spark에서 실행되는 노트북에서 실험을 추적하고 메트릭을 로깅할 수 있도록 Databricks 클러스터에 W&B를 설치하고 인증하는 방법을 안내합니다.

Databricks 구성

Databricks 노트북에서 W&B를 사용하려면 클러스터에 wandb 패키지를 설치하고, 노트북에서 W&B로 로깅할 수 있도록 인증을 설정해야 합니다.

클러스터에 wandb 설치 클러스터 설정에서 사용할 클러스터를 선택한 다음 Libraries > Install New > PyPI를 클릭하고 wandb 패키지를 추가하세요.

인증 설정 W&B 계정을 인증하려면 노트북이 런타임에 쿼리할 수 있는 Databricks 시크릿을 추가하세요. 이렇게 하면 노트북에 API 키를 하드코딩하지 않아도 됩니다.

# databricks CLI 설치
pip install databricks-cli

# databricks UI에서 token 생성
databricks configure --token

# Databricks에서 보안 기능이 활성화되어 있는지에 따라 다음 두 명령 중 하나로 범위를 생성합니다.
# 보안 add-on 사용 시
databricks secrets create-scope --scope wandb
# 보안 add-on 미사용 시
databricks secrets create-scope --scope wandb --initial-manage-principal users

# https://wandb.ai/settings 에서 API 키 생성
databricks secrets put --scope wandb --key api_key

예시

다음 예시에서는 앞서 언급한 시크릿을 사용해 로그인하고 Databricks 노트북에서 로깅을 시작하는 방법을 보여줍니다.

기본 예시

import os
import wandb

api_key = dbutils.secrets.get("wandb", "api_key")
wandb.login(key=api_key)

with wandb.init() as run:
    run.log({"foo": 1})

Sweeps

wandb.sweep() 또는 wandb.agent()를 사용하는 노트북에서는 entity와 프로젝트를 환경 변수로 설정해야 합니다:

import os

os.environ["WANDB_ENTITY"] = "my-entity"
os.environ["WANDB_PROJECT"] = "my-project-that-exists"

Weights & Biases

Powered by CoreWeave

Platform Details

Resources

Databricks 구성

예시

기본 예시

Sweeps

​Databricks 구성

​예시

​기본 예시

​Sweeps

Databricks 구성

예시

기본 예시

Sweeps