Hydra

Hydra는 연구 및 기타 복잡한 애플리케이션 개발을 간소화하는 오픈 소스 Python 프레임워크입니다. 핵심 기능은 조합을 통해 계층적 설정을 동적으로 생성하고, 설정 파일과 명령줄로 이를 재정의할 수 있다는 점입니다.

이 페이지에서는 Hydra 기반 설정 관리와 W&B 실험 추적을 함께 사용하는 방법을 설명합니다. 이를 통해 Hydra의 조합 가능한 설정은 그대로 유지하면서 W&B의 시각화, 하이퍼파라미터 최적화, 그리고 run 비교 기능을 활용할 수 있습니다. 다음 섹션에서는 메트릭 추적, Hydra 설정에서 하이퍼파라미터를 로깅하는 방법, multiprocessing 문제 해결, 그리고 W&B Sweeps를 사용한 하이퍼파라미터 최적화를 다룹니다.”

메트릭 추적

Hydra로 설정된 run에서 W&B로 메트릭을 보내려면 평소처럼 wandb.init()와 wandb.Run.log()를 사용하세요. 다음 예시에서는 동일한 설정이 Hydra와 W&B 모두에 사용되도록 wandb.entity와 wandb.project를 Hydra 설정 파일 내에 정의합니다.

import wandb


@hydra.main(config_path="configs/", config_name="defaults")
def run_experiment(cfg):

    with wandb.init(entity=cfg.wandb.entity, project=cfg.wandb.project) as run:
      run.log({"loss": loss})

하이퍼파라미터 추적

Hydra의 설정을 W&B에 로깅하면 모든 하이퍼파라미터를 run의 메트릭과 함께 확인할 수 있어 실험을 더 쉽게 비교하고 재현할 수 있습니다. Hydra는 설정 딕셔너리를 처리하기 위한 기본 인터페이스로 OmegaConf를 사용합니다. OmegaConf 설정 객체(예: omegaconf.DictConfig)는 일반 Python dict 인스턴스가 아닙니다. wandb.Run.config는 읽기 전용 속성이므로, OmegaConf 설정 객체를 전달하려고 wandb.Run.config = ...로 할당하면 AttributeError 예외가 발생합니다. cfg를 OmegaConf.to_container()를 사용해 일반 dict로 변환한 다음 wandb.init(config=...)에 전달하세요(또는 wandb.Run.config.update(...)를 호출하세요).

import hydra
import omegaconf
import wandb


@hydra.main(version_base=None, config_path="configs/", config_name="defaults")
def run_experiment(cfg):
    cfg_dict = omegaconf.OmegaConf.to_container(
        cfg, resolve=True, throw_on_missing=True
    )
    # 선택 사항: entity/project 등 W&B 메타데이터가 run 설정에 포함되어 로깅되지 않도록 제외
    cfg_dict.pop("wandb", None)
    with wandb.init(
        entity=cfg.wandb.entity,
        project=cfg.wandb.project,
        config=cfg_dict,
    ) as run:
        run.log({"loss": loss})
        model = Model(**run.config["model"]["configs"])

멀티프로세싱 문제 해결

프로세스 시작 시 응답이 멈춘다면 분산 트레이닝의 알려진 멀티프로세싱 문제가 원인일 수 있습니다. 이를 해결하려면 wandb.init()에 추가 설정 매개변수를 넣어 W&B의 멀티프로세싱 프로토콜을 변경하세요:

wandb.init(settings=wandb.Settings(start_method="thread"))

또는 셸에서 전역 환경 변수를 설정하는 방법도 있습니다:

export WANDB_START_METHOD=thread

하이퍼파라미터 최적화

W&B Sweeps는 적은 코드 오버헤드로 W&B 실험에 대한 인사이트와 시각화를 제공하는 하이퍼파라미터 검색 플랫폼입니다. Sweeps는 코드 변경 없이 Hydra 프로젝트와 통합됩니다. 필요한 것은 스윕할 파라미터를 설명하는 설정 파일뿐입니다. 다음은 sweep.yaml 파일의 예시입니다:

program: main.py
method: bayes
metric:
  goal: maximize
  name: test/accuracy
parameters:
  dataset:
    values: [mnist, cifar10]

command:
  - ${env}
  - python
  - ${program}
  - ${args_no_hyphens}

스윕을 실행합니다:

wandb sweep sweep.yaml

W&B는 프로젝트 안에 스윕을 자동으로 생성하고, wandb agent 명령어를 반환합니다. 스윕을 실행하려는 각 머신에서 해당 명령어를 실행합니다.”

Hydra 기본값에 없는 매개변수 전달하기

Hydra는 기본 설정 파일에 없는 추가 매개변수도 명령줄을 통해 전달할 수 있으며, 이를 위해 명령 앞에 +를 붙입니다. 예를 들어, 다음과 같이 호출하여 값을 지정한 추가 매개변수를 전달할 수 있습니다:

python program.py +experiment=some_experiment

Hydra Experiments를 구성할 때와 같은 방식으로는 이러한 + 설정에 대해 스윕을 수행할 수 없습니다. 이를 우회하려면 experiment 파라미터를 기본 빈 파일로 초기화한 다음, 각 호출 시 W&B 스윕을 사용해 해당 빈 설정을 덮어쓰세요. 자세한 내용은 W&B 리포트 Configuring W&B Projects with Hydra를 참조하세요.”

가이드

인테그레이션

레퍼런스

메트릭 추적

하이퍼파라미터 추적

멀티프로세싱 문제 해결

하이퍼파라미터 최적화

Hydra 기본값에 없는 매개변수 전달하기

​메트릭 추적

​하이퍼파라미터 추적

​멀티프로세싱 문제 해결

​하이퍼파라미터 최적화

​Hydra 기본값에 없는 매개변수 전달하기

메트릭 추적

하이퍼파라미터 추적

멀티프로세싱 문제 해결

하이퍼파라미터 최적화

Hydra 기본값에 없는 매개변수 전달하기