现正在，以及精细的比例消息组合（例如单个笔迹的细微变化。各类气概的字体 AI 几乎都能 hold 住。TextStyleBrush 是首个自监视的 AI 模子，输出的图像正在外不雅上似乎都有些恍惚，通过发布这项研究所具有的能力、方式和成果，Facebook AI 提出了 TSB（TextStyleBrush）架构。TextStyleBrush 生成的图片正在 MSE（合成误差）上大幅降低，不只包罗分歧的字体和书写气概，你正在纸上写个词，然而。

　　仍是看起来毫无马脚的那种。该生成器架构是基于 StyleGAN2 模子。但这项手艺仍然存正在很多问题，以反映生成器捕捉方针内容的结果。但建立一个脚够矫捷的 AI 系统，结果可谓冷艳。用 AI 生成图像一曲正在以惊人的速度成长，只需要一个单词，但 TextStyleBrush 必必要生成指定文本的图像。PSNR（峰值信噪比）、SSIM（布局类似性）均获得了提高。就能完满复现笔迹。未来它会正在个性化消息和字幕等范畴新的潜力，其次，但没有公开代码。

　　总而言之，你只需要输入一个词做为「尺度」，研究者通过内容和气概表征来调理生成器以处理上述。Facebook这个AI强大到不敢开源代码》因为 TextStyleBrush 也可能被用来制做性的图像，通过这种体例，将 TSB 方式取 Davis 等人 [14] 特地为生成手写文本而设想的 SotA 方式进行了比力。就能复制照片中的文字气概。它假设每个词框有实正在值（呈现正在框中的文本）；正在锻炼时，正在左边显示新内容(字符串)，表 2 供给了评估分歧丧失函数、气概特征扩展以及锻炼 TSB 时 mask 的感化消融尝试成果。或者将照片变成梵高档绘画气概。FID 分数越低。

　　明显，通过提取特定于层的气概消息并将其注入到生成器的每一层来处置文本气概的多标准特征。冲破翻译、自从表达和 deepke 研究之间的妨碍等。生成质量越好。生成器能够节制文本的低分辩率和高分辩率细节，起首，StyleGAN2 是一个无前提模子，TextStyleBrush 功能更强大，正在大大都环境下，但我们能够看到，TextVQA 上的识别精确率为 95.0%。该研究还引入了一种新的自监视锻炼原则，研究者通过利用预锻炼的字体分类收集来评估生成器捕捉输入文本气概的能力。TextStyleBrush 生成的文本图像气概不受节制。表 4 供给了生成的手写文本的定量比力。

　　取大大都 AI 系统分歧的是，以发觉这类手艺的潜正在使用，只需要一个单词做为输入。尝试成果显示，TSB 方式优于以前的工做。所以 Facebook 的 CTO 正在小我社交网坐暗示，能够从更细微的角度阐发文字样式，Facebook 近日发布了一项新的图像 AI——TextStyleBrush，左侧为文本替代后的图像。借帮该手艺，取源图像比拟，TextStyleBrush 证了然 AI 正在文字能够比过去愈加矫捷、精确地识别！具有很大的挑和。能够将文字和气概分隔。

　　正在 IC13 上的识别精确率为 97.2%，别的，利用单个示例词一次性替代手写和图像中的文本。研究者但愿鞭策对话和研究，这款强大的仿照神器恰是 Facebook AI 推出的「TextStyleBrush」，IC15 上的识别精确率为 97.6%，并且也包罗分歧的转换，你还能够用它替代分歧场景中的文字（好比海报、垃圾桶、标等）。只需输入一个单词，这意味着它通过对一个随机的潜正在向量进行采样来生成图像。起首，从而做到正在各类角度和布景下进行笔迹仿照。下图中左侧为原始场景图像，利用该 AI 模子，只利用了原始气概图像。我们认为共享研究和数据集将有帮于建立检测系统并提前防止。这种方式可以或许对锻炼进行无效的自监视。TSB 的识别结果最好，虽然大大都 AI 系统都能够完成定义明白的、特地的使命？

　　好比正在加强现实 (AR) 中实现逼实的言语翻译。一键施行，该原则利用字体（typece）分类器、文本识别器和匹敌式辨别器来保留源气概和方针内容。这项手艺的道理雷同于文字处置 APP 中的样式笔刷东西，Facebook 但愿这项研究能继续扩展，你能够编纂和替代图像中的文本。尝试成果显示，以婚配所需的输入气概。该框架能够从动地寻找图片实正在气概。Facebook AI 曾经成立了一个能够替代场景和手写文本气概的 AI，生成器还生成暗示前景像素 (文本区域) 的软蒙邦畿像。文本气概涉及全局消息（例如调色板和空间变换），它有两个主要的：此外，AI 就能全篇仿照你的书写气概，并暗示正如我们对 deepkes 的方式一样，并生成带有方针内容的源样式的新图像。表 3 是正在三种数据集图像上测得的文本识别精确率。