在2024年8月,一支由前Stability AI开发者组成的团队宣布成立了黑森林实验室,并发布了他们的第一个AI模型FLUX.1,该模型基于120亿参数,并采用新型变换器架构进行训练。
提示:创建一幅图像,观众正在注视着一个人类的眼睛。(男性)在眼睛的反射中,描绘一个未来主义和战争破败的世界。景观应被先进的AI技术所占据,如高耸的机器人、自动无人机和覆盖着数字广告和全息图的破旧建筑。整体氛围应为阴暗和反乌托邦,色调冷峻、金属感,并带有毁灭的暗示。眼睛本身应呈现出核爆炸的样子,但带有人工增强的暗示,如发光的赛博眼虹
对该模型的反响极为积极。用户对图像质量和提示识别的表现感到震惊。
使Flux.1模型更为特别的是,它是一个开源模型,因此社区将能够在此基础上构建,通过训练具有不同能力的自定义模型和LORA。
Flux.1由三种模型变体组成;
- Flux.1 [Pro] – Pro仅可通过API使用。您可以使用黑森林实验室的API,或他们的一些商业合作伙伴,生成Flux.1 Pro的图像。权重(模型文件)无法下载,即使可以,系统要求也会太高,无法在消费级硬件上使用。
- Flux.1 [Dev] – Dev是一个用于非商业应用的开源模型。它从Flux.1 [Pro]中提炼而来,提供类似的图像质量和提示识别能力,同时更高效;我们可以在消费级硬件上本地运行它。Flux.1 [Dev]根据非商业许可证发布。可以从Hugging Face下载。
FLUX.1有多好?我可以期待什么样的质量?
许多AI爱好者将其描述为“我们一直在等待的模型”(尤其是在SD3失望之后),Flux受到了热烈欢迎。图像保真度、提示遵循和整体图像质量都非常出色,为text2img领域设定了新的标准。
看看这些例子:
而且我们不能忘记NSFW功能(更多NSFW提示在这里):
我如何在线尝试Flux?
您可以在Hugging Face上免费使用FLUX.1(使用有限)。这是Dev和Schnell模型的生成器。
您还可以在Replicate.com上运行FLUX.1:Dev和Schnell(同样是有限的免费使用)。
我如何在本地使用Flux?
目前,根据您的硬件,有几种本地生成的选项!
在撰写时没有Automatic1111支持。
让我们看看我们的选项:
- SwarmUI(我个人推荐)
- Forge
- ComfyUI
使用SwarmUI
这是下载链接:
https://github.com/mcmonkeyprojects/SwarmUI
请按照说明操作,以下是重复的说明:
注意:如果您使用的是Windows 10,您可能需要手动安装git和DotNET 8。 (Windows 11会自动完成此操作)。
- 下载Install-Windows.bat文件,将其存储在您想要安装的地方(不是Program Files),然后运行它。对我来说是在D盘,但您可以选择其他位置。
- 它应该会打开一个命令提示符并自行安装。
- 如果它关闭而没有进一步操作,请尝试再次运行,有时需要运行两次。
- 它将在您的桌面上放置一个图标,您可以随时使用它重新启动服务器。
- 安装程序完成后,它将自动启动
StableSwarmUI服务器,并打开一个浏览器窗口到安装页面。
- 请按照页面上的安装说明进行操作。
- 提交后,请耐心等待,某些安装处理可能需要几分钟(下载模型等)。
这应该完成安装,提供SD XL基础模型。
要启动它,双击“Launch-Windows.bat”文件。除非您选择不这样做,否则它还会在桌面上放置一个快捷方式。
尝试使用XL模型创建图像。如果成功,那就太好了!
从这里下载Flux模型:
还请下载您选择的模型对应的“ae.safetensors”文件。
将您选择的FLUX文件放入您的unet文件夹:
SwarmUI\Models\unet
然后将“ae.safetensors”文件放入您的VAE文件夹:
SwarmUI\Models\VAE
关闭应用程序,包括浏览器和控制台。
使用Windows-launch.bat文件重新启动Swarm。
您应该能够选择Flux作为模型,尝试创建图像。
它会告诉您正在排队。
您需要等待,因为Swarm正在下载大文件。您可以在控制台中检查进度。
下载完成后,您的第一幅图像应该开始出现!
ComfyUI
Flux.1在第一天就推出了ComfyUI支持,使其成为使用原始黑森林实验室模型生成的最快、最简单的方法之一。要开始使用Flux与ComfyUI,您需要以下组件:
- 请注意,Flux-dev和-schnell .safetensors模型必须放入ComfyUI\models\unet文件夹。
- Clip模型必须放入ComfyUI\models\clip文件夹。如果您之前使用过SD3,您可能已经拥有所需的Clip模型。
- 一些系统要求考虑事项;
- flux1-dev需要超过12GB的VRAM
- flux1-schnell可以在12GB VRAM上运行
- 如果您的系统RAM少于32GB,请使用t5xxl_fp8_e4m3fn文本编码器,而不是t5xxl_fp16版本。
⚠️ 如果您无法运行“全功能”官方模型,创作者Kijai发布了压缩的fp8版本的flux1-dev和flux1-schnell。虽然图像质量可能有所下降,但这些版本使得可用VRAM较少的用户也能生成Flux。
您还需要一个基本的文本到图像工作流程来开始。下面的下载链接提供了一个简单的设置,带有一些不错的预设选项。此外,我们还包含了一个LoRA加载器(默认情况下被绕过),因为我们已经看到第一个Flux LoRA出现在Civitai上!
civitai_flux_t2i_workflow下载
Forge
我们最喜欢的界面之一,Forge,在一次意外的重大更新中获得了Flux支持!如果您熟悉Automatic1111的界面,您会发现Forge非常容易上手;Gradio前端几乎是相同的。
Forge可以支持原始Flux模型和文本编码器,如上所列。
要使用完整的模型和文本编码器,模型和编码器可以加载到新的字段中;
Forge的创作者,Illyasviel,发布了一种“压缩”NF4模型,目前是使用Flux与Forge的推荐方式;“NF4在6GB/8GB/12GB设备上显著快于FP8,并且在大于16GB VRAM设备上也稍快。对于6GB/8GB VRAM的GPU,速度提升约为1.3倍到2.5倍(pytorch 2.4,cuda 12.4),或约1.3倍到4倍(pytorch 2.1,cuda 12.1)。”
注意!如果您的GPU支持CUDA版本高于11.7,您可以使用NF4模型。大多数RTX3XXX和4XXX GPU支持NF4。
如果您的GPU是GTX10XX/20XX,可能不支持NF4。在这种情况下,请使用fp8模型。