斯坦福大学的研究人员基于稳定扩散开发了一种名为“RoentGen”的人工智能模型(AI 模型),并使用大型胸部 X 射线和放射学数据集进行了微调

最近的注意力集中在潜在扩散模型 (LDM) 上,它是一种子类去噪扩散模型。 它们允许生成具有高分辨率、多样性和保真度的图像。 当与调节方法结合使用时,这些模型允许在推理过程中对图像生成过程进行细粒度控制(例如,通过使用文本提示)。 这些模型通常使用大型多模态数据集(例如 LAION5B)进行训练。 该数据集包含数十亿个图像-文本对。 LDM 在经过适当的预训练后,可用于许多下游活动。 它们有时也称为基础模型 (FM)。

LDM 更容易为最终用户部署,因为去噪过程是在低维空间中执行的,并且只需要最少的硬件资源。 这些模型具有卓越的生成能力,使它们能够生成高保真合成数据集,并在训练数据有限时将它们添加到传统的监督学习管道中。 这可能是缺乏高度注释、精心策划的医学成像数据集的解决方案。 这些数据集是医学专家大量工作和训练的结果。

基于文本的放射学报告通常可以解释图像测试中的相关医学数据,即使没有很多大型、维护良好且可公开访问的医学图像数据集。 这种“副产品”是医疗决策过程的结果,可用于自动提取标签供下游使用。 它仍然需要比自然语言描述中可能的问题更受限制的问题表述。 可以对文本条件 LDM 进行预训练,以通过请求相关医学术语或概念来生成合成医学图像。

来源和详细信息:
https://www.marktechpost.com/2022/12/02/researchers-at-stanford-developed-an-artificial-intelligence-ai-model-called-roentgen-based-on-stable-diffusion-and-fine-tuned-on-a-large-chest-x-ray-and-radiology-dataset/

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注