Hugging Face Diffusers

Hugging Face Diffusers est une bibliothèque de modèles de diffusion préentraînés permettant de générer des images, de l’Audio et des structures moléculaires 3D. L’intégration W&B apporte le suivi des expériences, la visualisation des contenus multimédias, le suivi de l’architecture des pipelines et la gestion de la configuration dans des tableaux de bord centralisés interactifs.

Enregistrez les expériences en deux lignes

Pour enregistrer tous les prompts, les prompts négatifs, les médias générés et les configurations associées à votre expérience, ajoutez les deux lignes de code suivantes :

# importer la fonction autolog
from wandb.integration.diffusers import autolog

# appeler autolog avant d'appeler le pipeline
autolog(init=dict(project="diffusers_logging"))

Journalisation des résultats de l'expérience — Exemple de la façon dont W&B journalise les résultats de votre expérience.

Premiers pas

Installez diffusers, transformers, accelerate et wandb.

Ligne de commande :

pip install --upgrade diffusers transformers accelerate wandb

Notebook :

!pip install --upgrade diffusers transformers accelerate wandb

Appelez autolog() avec le paramètre init, qui accepte un dictionnaire de paramètres requis par wandb.init(). autolog() initialise un run W&B et suit automatiquement les entrées et sorties de tous les appels de pipeline pris en charge :
- Chaque appel de pipeline est suivi dans son propre tableau de l’espace de travail, et les configurations associées à cet appel de pipeline sont ajoutées à la liste des flux de travail dans la configuration de ce run.
- Les prompts, les prompts négatifs et les médias générés sont enregistrés dans un wandb.Table.
- Toutes les autres configurations associées à l’expérience, y compris la graine aléatoire et l’architecture du pipeline, sont stockées dans la section de configuration du run.
- Les médias générés pour chaque appel de pipeline sont également enregistrés dans les volets multimédia du run.
Vous trouverez une liste des appels de pipeline pris en charge. Pour demander une nouvelle fonctionnalité pour cette intégration ou signaler un bug, ouvrez une issue sur la page des issues GitHub de W&B.

Exemples

Les exemples suivants illustrent l’utilisation de autolog dans des flux de travail de diffusion courants, afin que vous puissiez les adapter à vos propres pipelines.

Exemple d’autolog

Voici un exemple complet de autolog :

Script
Notebook

import torch
from diffusers import DiffusionPipeline

# importer la fonction autolog
from wandb.integration.diffusers import autolog

# appeler autolog avant d'appeler le pipeline
autolog(init=dict(project="diffusers_logging"))

# Initialiser le pipeline de diffusion
pipeline = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-2-1", torch_dtype=torch.float16
).to("cuda")

# Définir les prompts, les prompts négatifs et le seed.
prompt = ["a photograph of an astronaut riding a horse", "a photograph of a dragon"]
negative_prompt = ["ugly, deformed", "ugly, deformed"]
generator = torch.Generator(device="cpu").manual_seed(10)

# appeler le pipeline pour générer les images
images = pipeline(
    prompt,
    negative_prompt=negative_prompt,
    num_images_per_prompt=2,
    generator=generator,
)

import torch
from diffusers import DiffusionPipeline

import wandb

# importer la fonction autolog
from wandb.integration.diffusers import autolog

run = wandb.init()

# appeler autolog avant d'appeler le pipeline
autolog(init=dict(project="diffusers_logging"))

# Initialiser le pipeline de diffusion
pipeline = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-2-1", torch_dtype=torch.float16
).to("cuda")

# Définir les prompts, les prompts négatifs et le seed.
prompt = ["a photograph of an astronaut riding a horse", "a photograph of a dragon"]
negative_prompt = ["ugly, deformed", "ugly, deformed"]
generator = torch.Generator(device="cpu").manual_seed(10)

# appeler le pipeline pour générer les images
images = pipeline(
    prompt,
    negative_prompt=negative_prompt,
    num_images_per_prompt=2,
    generator=generator,
)

# Terminer l'expérience
run.finish()

Les images suivantes montrent ce qui est consigné dans W&B :

Les résultats d’une seule expérience :
Les résultats de plusieurs expériences :
La configuration d’une expérience :

Vous devez appeler explicitement wandb.Run.finish() lorsque vous exécutez le code dans un environnement de notebook IPython après l’appel au pipeline. Ce n’est pas nécessaire lorsque vous exécutez des scripts Python.

Suivi des flux de travail à plusieurs pipelines

L’exemple suivant illustre autolog dans un flux de travail type Stable Diffusion XL + Refiner, où le refiner affine les variables latentes générées par le StableDiffusionXLPipeline.

Script
Notebook

import torch
from diffusers import StableDiffusionXLImg2ImgPipeline, StableDiffusionXLPipeline
from wandb.integration.diffusers import autolog

# Initialiser le pipeline de base SDXL
base_pipeline = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
    variant="fp16",
    use_safetensors=True,
)
base_pipeline.enable_model_cpu_offload()

# Initialiser le pipeline de raffinement SDXL
refiner_pipeline = StableDiffusionXLImg2ImgPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0",
    text_encoder_2=base_pipeline.text_encoder_2,
    vae=base_pipeline.vae,
    torch_dtype=torch.float16,
    use_safetensors=True,
    variant="fp16",
)
refiner_pipeline.enable_model_cpu_offload()

prompt = "a photo of an astronaut riding a horse on mars"
negative_prompt = "static, frame, painting, illustration, sd character, low quality, low resolution, greyscale, monochrome, nose, cropped, lowres, jpeg artifacts, deformed iris, deformed pupils, bad eyes, semi-realistic worst quality, bad lips, deformed mouth, deformed face, deformed fingers, deformed toes standing still, posing"

# Rendre l'expérience reproductible en contrôlant l'aléatoire.
# La graine sera automatiquement enregistrée dans WandB.
seed = 42
generator_base = torch.Generator(device="cuda").manual_seed(seed)
generator_refiner = torch.Generator(device="cuda").manual_seed(seed)

# Appeler WandB Autolog pour Diffusers. Cela enregistrera automatiquement
# les prompts, les images générées, l'architecture du pipeline et toutes
# les configurations d'expérience associées dans W&B, facilitant ainsi
# la reproduction, le partage et l'analyse de vos expériences de génération d'images.
autolog(init=dict(project="sdxl"))

# Appeler le pipeline de base pour générer les latents
image = base_pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    output_type="latent",
    generator=generator_base,
).images[0]

# Appeler le pipeline de raffinement pour générer l'image affinée
image = refiner_pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    image=image[None, :],
    generator=generator_refiner,
).images[0]

import torch
from diffusers import StableDiffusionXLImg2ImgPipeline, StableDiffusionXLPipeline

import wandb
from wandb.integration.diffusers import autolog

run = wandb.init()

# Initialiser le pipeline de base SDXL
base_pipeline = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
    variant="fp16",
    use_safetensors=True,
)
base_pipeline.enable_model_cpu_offload()

# Initialiser le pipeline de raffinement SDXL
refiner_pipeline = StableDiffusionXLImg2ImgPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0",
    text_encoder_2=base_pipeline.text_encoder_2,
    vae=base_pipeline.vae,
    torch_dtype=torch.float16,
    use_safetensors=True,
    variant="fp16",
)
refiner_pipeline.enable_model_cpu_offload()

prompt = "a photo of an astronaut riding a horse on mars"
negative_prompt = "static, frame, painting, illustration, sd character, low quality, low resolution, greyscale, monochrome, nose, cropped, lowres, jpeg artifacts, deformed iris, deformed pupils, bad eyes, semi-realistic worst quality, bad lips, deformed mouth, deformed face, deformed fingers, deformed toes standing still, posing"

# Rendre l'expérience reproductible en contrôlant l'aléatoire.
# La graine sera automatiquement enregistrée dans WandB.
seed = 42
generator_base = torch.Generator(device="cuda").manual_seed(seed)
generator_refiner = torch.Generator(device="cuda").manual_seed(seed)

# Appeler WandB Autolog pour Diffusers. Cela enregistrera automatiquement
# les prompts, les images générées, l'architecture du pipeline et toutes
# les configurations d'expérience associées dans W&B, facilitant ainsi
# la reproduction, le partage et l'analyse de vos expériences de génération d'images.
autolog(init=dict(project="sdxl"))

# Appeler le pipeline de base pour générer les latents
image = base_pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    output_type="latent",
    generator=generator_base,
).images[0]

# Appeler le pipeline de raffinement pour générer l'image affinée
image = refiner_pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    image=image[None, :],
    generator=generator_refiner,
).images[0]

# Terminer l'expérience
run.finish()

L’image suivante montre un exemple d’expérience Stable Diffusion XL + Refiner :

suivi des expériences Stable Diffusion XL

Guides

Intégrations

Référence

Enregistrez les expériences en deux lignes

Premiers pas

Exemples

Exemple d’autolog

Suivi des flux de travail à plusieurs pipelines

Autres ressources

​Enregistrez les expériences en deux lignes

​Premiers pas

​Exemples

​Exemple d’autolog

​Suivi des flux de travail à plusieurs pipelines

​Autres ressources

Enregistrez les expériences en deux lignes

Premiers pas

Exemples

Exemple d’autolog

Suivi des flux de travail à plusieurs pipelines

Autres ressources