Nunchaku FLUX.1-dev 文生图持续集成：GitHub Actions自动化测试生成质量

Nunchaku FLUX.1-dev 文生图持续集成：GitHub Actions自动化测试生成质量

最近在带团队做一个文生图应用，最头疼的就是模型更新。每次提示词库一改，或者模型版本一升级，心里就直打鼓：这次生成的图，质量会不会掉下去？以前全靠人工抽查，费时费力不说，还容易漏掉问题。后来我们琢磨了一套自动化流程，用GitHub Actions把测试给跑起来了，效果还不错，今天就跟大家聊聊这个事。

简单说，就是给我们的Nunchaku FLUX.1-dev模型开发流程，加了个“质检机器人”。代码或者模型一有变动，这个机器人就自动启动，按照预设的提示词生成一批图，再用一些指标给这些图打分。如果分数没达标，或者比上次差太多，它就直接在GitHub上给我们提个醒，这样我们就能第一时间知道哪里出了问题。

1. 为什么需要自动化测试？

做文生图应用，尤其是团队协作，最怕的就是“黑盒更新”。你改了几十个提示词，或者换了个新版的FLUX.1-dev模型，怎么知道效果是变好了还是变坏了？靠人眼一张张看，不现实，也容易主观。

我们之前就踩过坑。有一次优化了提示词模板，本地测试了几张图感觉挺好，就合并到主分支了。结果上线后，用户反馈生成某些特定主题的图片，风格变得很奇怪，质量明显下降。回头一查，就是新提示词对某些边缘情况处理不好，但我们人工测试时根本没覆盖到。

所以，自动化测试的核心价值就两点：一是保证质量基线，确保任何更新都不会让生成效果低于可接受的标准；二是快速反馈，开发或算法同学提交代码后，几分钟内就能知道这次改动对生成质量的影响，是正向还是负向，不用等测试人员介入。

2. 自动化测试流程设计

我们的目标很明确：搭建一个无人值守的、可重复的、指标化的质量评估流水线。整个流程围绕着GitHub仓库来设计，因为我们的代码、提示词库、甚至模型配置都放在上面。

2.1 核心流程概览

整个流程可以概括为“事件触发 -> 执行任务 -> 评估反馈”三个步骤。

1. 事件触发：当有新的代码提交到主分支（main），或者有人向提示词库文件（比如prompts.json）发起合并请求（Pull Request）时，流程自动开始。
2. 执行任务：GitHub Actions会启动一个虚拟环境，在里面准备好Python、必要的依赖库，以及访问我们Nunchaku FLUX.1-dev模型的API密钥。然后，它会运行我们写好的测试脚本。
3. 评估反馈：测试脚本会做两件事：一是调用模型API，用一批预设的测试提示词生成图片；二是调用评估脚本，计算这些生成图片的质量分数（比如清晰度、与提示词的相关性等）。最后，把本次的分数和历史分数对比，生成一份报告，并更新到GitHub的提交状态或PR评论里。

这样一来，每次改动都像过一次“安检”，合不合并，数据说了算。

2.2 关键技术组件

要实现这个流程，主要靠几个东西配合：

• GitHub Actions：这是我们的自动化引擎。它就像一个随时待命的机器人，监听着仓库里的动静。我们写一个YAML配置文件（比如.github/workflows/image_quality_test.yml）告诉它：“嘿，如果发生了某某事件，你就去某某地方，按照某某步骤执行。”
• 测试提示词库：这是一组精心挑选的、有代表性的提示词。它们需要覆盖我们应用的主要场景（比如人物、风景、物体、抽象概念），也要包含一些容易出错的边界案例。这个库本身也是一个文件，放在仓库里，任何修改都会触发测试。
• 质量评估脚本：这是判断好坏的“裁判”。完全靠人工评价不现实，所以我们用一些可量化的指标。常见的比如：
  • CLIP Score：评估生成的图片与输入提示词的语义匹配程度。分数越高，说明图越“扣题”。
  • 图像清晰度评估：比如计算图像的拉普拉斯方差，值越大通常表示图像越清晰、细节越多。
  • 美学评分：有一些预训练的模型可以给图片的“好看程度”打分。 我们会综合几项指标，给出一个总分。这个脚本也是Python写的，在Actions里运行。
• Nunchaku FLUX.1-dev API：这是我们的被测对象。测试脚本会通过HTTP请求调用它，传入提示词和参数，拿到生成的图片。

3. 实战：搭建GitHub Actions流水线

光说原理有点干，我们直接看看怎么把它搭起来。假设我们的项目仓库叫my-ai-image-app。

3.1 第一步：准备测试脚本

首先，在项目根目录创建一个scripts/文件夹，里面放两个Python脚本。

第一个是generate_test_images.py，负责调用API生成图片：

# scripts/generate_test_images.py import os import requests import json from pathlib import Path # 从环境变量读取配置 API_BASE_URL = os.getenv('FLUX_API_BASE', 'https://api.nunchaku.ai/v1') API_KEY = os.getenv('FLUX_API_KEY') TEST_PROMPTS_FILE = 'test_prompts.json' OUTPUT_DIR = Path('generated_images') def load_test_prompts(): """加载测试提示词库""" with open(TEST_PROMPTS_FILE, 'r') as f: prompts_data = json.load(f) return prompts_data['prompts'] # 假设是列表格式 def call_flux_api(prompt, seed=42): """调用FLUX.1-dev API生成图片""" headers = { 'Authorization': f'Bearer {API_KEY}', 'Content-Type': 'application/json' } payload = { 'model': 'FLUX.1-dev', 'prompt': prompt, 'num_inference_steps': 50, 'guidance_scale': 7.5, 'seed': seed, 'output_format': 'url' # 假设API返回图片URL } try: response = requests.post(f'{API_BASE_URL}/images/generations', headers=headers, json=payload, timeout=60) response.raise_for_status() result = response.json() # 假设返回结构为 {'data': [{'url': '...'}]} image_url = result['data'][0]['url'] return image_url except requests.exceptions.RequestException as e: print(f"调用API失败，提示词: {prompt[:50]}... 错误: {e}") return None def download_image(url, filename): """下载图片到本地""" response = requests.get(url, timeout=30) response.raise_for_status() with open(filename, 'wb') as f: f.write(response.content) def main(): if not API_KEY: raise ValueError("请设置 FLUX_API_KEY 环境变量") OUTPUT_DIR.mkdir(exist_ok=True) prompts = load_test_prompts() print(f"开始为 {len(prompts)} 个提示词生成测试图片...") results = [] for i, prompt_item in enumerate(prompts): prompt_text = prompt_item['text'] print(f"处理 ({i+1}/{len(prompts)}): {prompt_text[:60]}...") image_url = call_flux_api(prompt_text, seed=i) if image_url: image_path = OUTPUT_DIR / f"test_{i:03d}.png" download_image(image_url, image_path) results.append({ 'prompt': prompt_text, 'image_path': str(image_path), 'seed': i }) else: print(f" 生成失败，跳过。") # 保存本次生成记录 with open('generation_results.json', 'w') as f: json.dump({'results': results}, f, indent=2) print("测试图片生成完成。") if __name__ == '__main__': main()

第二个是evaluate_quality.py，负责评估图片质量：

# scripts/evaluate_quality.py import json import numpy as np from pathlib import Path from PIL import Image import cv2 # 这里需要安装一些库：pip install Pillow opencv-python-headless torch torchvision def calculate_clip_score(image_path, prompt): """ 计算CLIP分数（示例，需替换为真实CLIP模型调用）。 这里简化处理，实际应用中应使用预训练的CLIP模型。 """ # 此处为模拟逻辑，真实情况需加载CLIP模型进行计算 # 假设返回一个0-1之间的分数 return np.random.uniform(0.7, 0.95) # 模拟值 def calculate_image_sharpness(image_path): """使用拉普拉斯方差计算图像清晰度""" image = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) if image is None: return 0.0 laplacian_var = cv2.Laplacian(image, cv2.CV_64F).var() # 归一化处理，使其大致在0-1范围，具体阈值需根据实际情况调整 normalized_score = min(laplacian_var / 500.0, 1.0) return normalized_score def main(): with open('generation_results.json', 'r') as f: data = json.load(f) evaluation_results = [] total_clip_score = 0 total_sharpness_score = 0 for item in data['results']: image_path = item['image_path'] prompt = item['prompt'] if not Path(image_path).exists(): continue clip_score = calculate_clip_score(image_path, prompt) sharpness_score = calculate_image_sharpness(image_path) # 简单加权计算综合分（权重可根据业务调整） composite_score = clip_score * 0.6 + sharpness_score * 0.4 result = { 'prompt': prompt, 'image_file': Path(image_path).name, 'clip_score': round(clip_score, 4), 'sharpness_score': round(sharpness_score, 4), 'composite_score': round(composite_score, 4) } evaluation_results.append(result) total_clip_score += clip_score total_sharpness_score += sharpness_score num_valid = len(evaluation_results) avg_clip = total_clip_score / num_valid if num_valid > 0 else 0 avg_sharpness = total_sharpness_score / num_valid if num_valid > 0 else 0 avg_composite = (avg_clip * 0.6 + avg_sharpness * 0.4) if num_valid > 0 else 0 summary = { 'total_tested': num_valid, 'average_scores': { 'clip_score': round(avg_clip, 4), 'sharpness_score': round(avg_sharpness, 4), 'composite_score': round(avg_composite, 4) }, 'details': evaluation_results } with open('quality_report.json', 'w') as f: json.dump(summary, f, indent=2, ensure_ascii=False) print("质量评估完成。") print(f"平均综合分: {avg_composite:.4f} (CLIP: {avg_clip:.4f}, 清晰度: {avg_sharpness:.4f})") # 将综合分输出到环境变量，供后续步骤使用 with open(os.environ['GITHUB_OUTPUT'], 'a') as fh: print(f'composite_score={avg_composite}', file=fh) if __name__ == '__main__': main()

3.2 第二步：配置GitHub Actions工作流

接下来，在项目根目录创建.github/workflows/image_quality_test.yml文件：

# .github/workflows/image_quality_test.yml name: FLUX Image Quality Test on: push: branches: [ main ] paths: - 'test_prompts.json' - 'scripts/**' - 'model_configs/**' pull_request: branches: [ main ] paths: - 'test_prompts.json' - 'scripts/**' - 'model_configs/**' jobs: test-image-quality: runs-on: ubuntu-latest steps: - name: 检出代码 uses: actions/checkout@v4 - name: 设置Python环境 uses: actions/setup-python@v5 with: python-version: '3.10' - name: 安装依赖 run: | pip install requests Pillow opencv-python-headless numpy # 如有其他依赖（如torch, transformers用于CLIP），也在此安装 - name: 生成测试图片 env: FLUX_API_KEY: ${{ secrets.FLUX_API_KEY }} FLUX_API_BASE: ${{ vars.FLUX_API_BASE }} run: python scripts/generate_test_images.py - name: 评估图片质量 id: evaluate run: python scripts/evaluate_quality.py - name: 上传生成图片作为工作流产物（可选） uses: actions/upload-artifact@v4 if: always() # 即使失败也上传，便于调试 with: name: generated-test-images path: generated_images/ retention-days: 7 - name: 上传质量报告 uses: actions/upload-artifact@v4 with: name: quality-report path: quality_report.json - name: 检查质量分数 id: check_score run: | COMPOSITE_SCORE=${{ steps.evaluate.outputs.composite_score }} # 设置一个合格线，例如0.75。可以从文件读取历史基线进行对比。 THRESHOLD=0.75 echo "当前综合分: $COMPOSITE_SCORE, 阈值: $THRESHOLD" if (( $(echo "$COMPOSITE_SCORE < $THRESHOLD" | bc -l) )); then echo "质量分数低于阈值！" echo "::error::图片生成质量综合分（$COMPOSITE_SCORE）低于合格线（$THRESHOLD）。" exit 1 else echo "质量检查通过。" fi

3.3 第三步：设置仓库密钥和环境变量

为了让Actions能安全地调用我们的模型API，需要把API密钥存起来。

1. 进入你的GitHub仓库页面。
2. 点击Settings->Secrets and variables->Actions。
3. 点击New repository secret，创建一个名为FLUX_API_KEY的密钥，值就是你的真实API密钥。
4. 如果需要，也可以在Variables标签页下创建一个变量FLUX_API_BASE，填入你的API基础地址。

这样，工作流运行时就能通过${{ secrets.FLUX_API_KEY }}安全地获取密钥了。

4. 效果与收益

这套流程跑起来以后，给我们团队带来的变化是实实在在的。

最直观的就是反馈速度。以前提个PR，要等同事有空了才能手动测试，快则半天，慢则一两天。现在提交后几分钟，GitHub Actions就自动跑完了测试，结果直接贴在PR下面。如果分数不达标，工作流状态直接显示失败，红色的大叉非常醒目，谁都不敢轻易合并。

其次是质量稳定性。我们设定了一个综合分的合格线（比如0.75），也记录了每次主分支测试的历史平均分。任何导致综合分下降超过5%的改动，都会触发警报。这相当于给我们的生成质量装了一个“稳压器”，避免了因为追求某个特性而牺牲整体质量的情况。

最后是团队协作更顺畅。算法工程师调整了模型参数，前端同学修改了提示词拼接逻辑，大家提交代码后，都用同一套标准、同一批测试用例来验证效果。讨论问题的时候，不再是“我感觉效果变差了”，而是“这次CLIP分数下降了0.1，我们看看是哪些提示词导致的”，沟通效率高了很多。

当然，这套流程也不是一劳永逸的。测试提示词库需要随着业务发展不断维护和丰富，质量评估指标也需要根据实际业务效果进行调优。但它为我们建立了一个自动化的、数据驱动的质量守护基础，让迭代更有信心。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。