【成果推介】一种区域感知的图像引导故事续写方法

成果简介

该成果是一种区域感知的图像引导故事续写方法，通过抽取故事上下文中的关键词，获取故事发展线索，利用现有的大规模知识图网络中抽取故事线索的知识图，通过计算与输入图像之间的相似度对知识图进行过滤。对输入的图像构建场景图。对过滤后的知识图与图像场景图进行匹配，在场景图中获取匹配到的图像物体及其相连的物体的特征作为图像关键特征。对应的图像区域被认为是符合故事上下文逻辑的图像关键区域。利用一个在图像情感数据集上训练过的图像情感提取器提取图像关键区域的情感特征。利用故事上下文、过滤后的知识图、选取到的图像关键特征、以及图像关键区域的情感特征，生成更加具体、一致、且富有情感的故事结尾。

应用前景

本成果通过给定一段文本和一张文本相关的图像，模型能够在理解上下文的基础上，依据图像内容续写符合上下文逻辑切富有情感的句子。该发明具有良好的应用前景，如儿童伴学机器：给出童话故事的上下文和一些相关的图像，引导儿童依据图像补写故事后续，并给出参考答案。以此达到锻炼儿童的逻辑感知和语言表达等能力。此外还可以应用于如自动游记续写、自动博客生成等相关场景。

成熟度

小试

成果展示

知识产权情况

成果完成人

电气工程学院：黄清宝

成果转化，请联系成果与合作处，联系人：刘老师，联系电话：0771-3904162。