在面前数字化时间，图形用户界面（GUI）原型联想是开发交互式系统的遑急要害。GUI原型不仅有助于需求的获取91porn 91porn，还能匡助用户和开发团队测试、评估和考据联想理念。然而，创建高保真GUI原型等闲是一个耗时且资源密集的过程。尽管现存相干依然探索了自动生成GUI原型的格式，但这些格式大多依赖于资源密集型的锤真金不怕火和微调，且主要生成低保真度的GUI布局。来自自德国曼海姆大学的相干团队建议了一种基于零样本（Zero-Shot， ZS）领导的高保真GUI生成格式，劝诱了检索增强生成（Retrieval-Augmented GUI Generation， RAGG）、领导剖析（Prompt Decomposition， PDGG）和自我批判（Self-Critique， SCGG）等本领，显赫教悔了GUI原型的生成后果。

第一章：小引

GUI原型在软件开发中饰演着遑急脚色，尤其是在需求获取阶段。高保真GUI原型简略匡助开发团队与利益干系者进行更具体的交流，从而幸免歪曲。然而，高保真原型的创建资本富贵且耗时，尤其是在需求时时变化的情况下。为了应酬这些挑战，相干者们启动探索自动生成GUI原型的格式。举例，Instigator和MAx-Prototyper等器用通过锤真金不怕火或微调大言语模子（LLM）来生成低保真度的GUI布局。然而，这些格式不仅需要大王人资源，而且生成的布局等闲难以集成到本色的使命经过中。

本文建议了一种基于零样本领导的高保真GUI生成格式，旨在通过更少的资源插足生成高质料的GUI原型。具体来说，本文建议了三种零样本领导格式：检索增强生成（RAGG：Retrieval-Augmented GUI Generation ）、领导剖析（PDGG：Prompt Decomposition for GUI Generation）和自我批判（SCGG：Self-Critique Looping for GUI Generation）。通过大领域的用户界面（UI）仓库和LLM的推理才调，这些格式简略生成高保真实HTML/CSS GUI原型。

第二章：布景

2.1 基于天然言语的GUI检索

为了完结基于天然言语的GUI检索，本文华取了RaWi格式，劝诱了Rico GUI仓库和Screen2Words（S2W）模子。Rico是一个包含朝上72，000个挪动应用GUI的大领域公开数据集，而S2W为Rico中的22，000个GUI提供了粗心的高层描画。通过劝诱这些资源，本文简略快速检索到与天然言语需求（NLR）匹配的GUI原型。

2.2 大言语模子（LLM）

LLM是基于Transformer架构的大领域生成模子，具罕见十亿参数，并在大王人文本数据上进行预锤真金不怕火。GPT-3的发布瑰丽着LLM在零样本学习才调上的冲突，使其简略快速稳健未经过特定锤真金不怕火的新任务。本文诳骗了LLM的零样本学习才调，劝诱多种领导格式（如链式想维领导、领导剖析和自我批判）来生成GUI原型。

第三章：格式论

添加图片扫视，不朝上 140 字（可选）

这部分醒目先容了用于生成GUI原型的多种零样本（Zero-Shot， ZS）领导格式。这些格式包括基线格式、领导剖析（Prompt Decomposition， PDGG）、检索增强生成（Retrieval-Augmented GUI Generation， RAGG）和自我批判（Self-Critique， SCGG）。每种格式王人有其独到的上风和适用场景，底下将逐个醒目先容。

3.1 基线格式：ZS-Instruction和ZS-CoT

ZS-Instruction（零样本指示领导） ZS-Instruction格式是最基础的零样本领导格式。它通过简便的指示领导大言语模子（LLM）生成HTML/CSS代码。具体来说，本文提供了一个明确的任务描画，条目LLM凭据粗心的高层文本描画生成一个挪动页面的HTML/CSS代码。为了确保生成的代码不错平直使用，本文还荒谬引导LLM不要提供阐述或分隔代码块，而是平直输出圆善的HTML/CSS代码。

ZS-CoT（零样本链式想维领导） ZS-CoT格式律阐述更进一步，条目LLM在生成代码之前，先提供一个缓缓的推理过程。这种格式通过让LLM生成中间的联想顺次，而不是平直将高层文本描画映射为低层HTML/CSS代码，从而教悔了生成代码的复杂性和准确性。ZS-CoT格式在很多任务中进展出色，尤其是在需要复杂推理的场景中。

3.2 领导剖析（PDGG）

领导剖析格式（PDGG）将GUI生成任务剖析为多个子任务，缓缓生成GUI特征、联想想路和布局结构。这种格式更接近东说念主类众人的联想过程，简略充分诳骗LLM的联想才调。具体来说，PDGG分为以下三个顺次：

特征索求 率先，LLM被条目凭据高层文本描画生成一个醒办法GUI特征聚合。这些特征包括GUI的各个组件过头功能描画。通过这一步，LLM简略更真切地领路GUI的需乞降功能。

联想想路生成 接下来，LLM被条目为每个特征生成联想想路，包括使用哪些GUI组件和库来完结这些特征。这一步匡助LLM酿成更具体的联想决策。

布局结构生成 终末，LLM被条目凭据之前生成的特征和联想想路，生成一个合座的布局结构和页面联想。这一步将统共的信息整合在沿路，酿成一个圆善的GUI联想决策。

通过这种分步的格式，PDGG简略生成更高质料的GUI原型，况且每一步王人充分诳骗了LLM的联想才调。

3.3 检索增强生成（RAGG）

检索增强生成格式（RAGG）劝诱了LLM的生成才和解GUI仓库的检索才调，通过检索与天然言语需求（NLR）匹配的GUI原型，生成高保真实HTML/CSS代码。RAGG格式的中枢想想是诳骗大领域GUI仓库中的学问，快速检索到与NLR干系的GUI原型，并将其手脚LLM生成代码的参考。

GUI仓库 本文华取了Rico GUI仓库，这是一个包含朝上72，000个挪动应用GUI的大领域公开数据集。Rico不仅提供了GUI的截图，还包含了头绪结构数据和语义扫视。为了教悔检索终局的质料，本文还对Rico中的GUI进行了过滤，去除了包含遮蔽菜单的GUI。

LLM-Based GUI再行排序 为了进一步教悔检索终局的干系性，本文建议了一种基于LLM的GUI再行排序格式。具体来说，本文率先使用SentenceBERT（S-BERT）模子对NLR和GUI描画进行语义匹配，生成一个初步的检索终局。然后，本文使用LLM对检索终局进行二次排序和过滤，确保最终提供给LLM的GUI原型具有高干系性。

领导格式 在得回干系的GUI原型后，本文建议了两种不同的领导格式：

特征索乞降团员 率先，LLM被条目从每个干系的GUI原型中索求特征聚合，然后将这些特征聚合进行汇总数团员。通过这种格式，LLM简略生成一个抽象的特征聚合，手脚生成HTML/CSS代码的参考。

平直编码和生成 其次，本文平直将干系的GUI原型截图编码到LLM的领导凹凸文中，条目LLM凭据这些原型生成HTML/CSS代码。这种格式充分诳骗了LLM的图像领路才调，简略生成更具创意的GUI原型。

3.4 自我批判（SCGG）

自我批判格式（SCGG）通过LLM对生成的GUI原型进行响应和修正，酿成一个迭代的GUI生成和响应轮回。SCGG格式的中枢想想是诳骗LLM自己的批判才调，不停阅兵生成的GUI原型。

响应LLM SCGG格式包括两个主要组件：响应LLM和原型生成LLM。响应LLM凭据现时的GUI原型和NLR生成响应见地，指出现时原型的不及之处和阅兵建议。响应LLM被荒谬引导只提供文本描画，而不生成代码。

原型生成LLM 原型生成LLM则凭据响应见地和NLR生成新的GUI原型。通过这种迭代的格式，SCGG简略不停阅兵生成的GUI原型，教悔其质料和准确性。

3.5 LLM-based GUI内容生成

添加图片扫视，不朝上 140 字（可选）

为了进一步教悔GUI原型的着实感，本文建议了一种基于LLM的内容生成管说念。具体来说，本文率先使用LLM生成着实的文本和图像内容，然后将其集成到HTML/CSS代码中。通过这种格式，生成的GUI原型不仅具有高保真度，还包含了丰富的内容，教悔了其诱骗力和实用性。

内容生陋习律

文本内容生成 LLM被条目凭据HTML/CSS代码生成着实的文本内容，举例列表项、干系居品等。

图像内容生成 LLM还被条目生成醒办法图像描画，然后使用DALL-E-3模子生成相应的图像。这些图像被上传到劳动器，并集成到HTML/CSS代码中。

通过这种内容生成格式，本文简略生成更具诱骗力和实用性的GUI原型，显赫教悔了其合座后果。。

第四章：评估

添加图片扫视，不朝上 140 字（可选）

4.1 GUI描画数据集

本文通过Rico GUI数据集辘集了574个GUI描画，并邀请了30名参与者对这些描画进行评估，确保数据质料。最终，本文华取了50个高质料的GUI描画手脚测试集。

4.2 评估联想

本文邀请了100多名具有UI/UX陶冶的众包工东说念主对生成的GUI原型进行评估，共辘集了朝上3，000个扫视。评估场地包括功能圆善性、功能宽度、功能完结、信息组织、视觉诱骗力、荒唐率、合座欢乐度和应用圆善性。

4.3 模子设备

本文华取了GPT-4模子进行施行，并设备了融合的温度参数（t=0.50）以均衡生成输出的创造性和一致性。本文比拟了基线格式、领导剖析、RAGG和SCGG四种格式的后果。

第五章：终局与商榷

添加图片扫视，不朝上 140 字（可选）

在第五章中，本文醒目先容了施行评估的终局，并对这些终局进行了真切商榷。通过大领域的众包工东说念主评估，本文对生成的GUI原型在多个维度上进行了评分，包括功能圆善性、功能宽度、功能完结、信息组织、视觉诱骗力、荒唐率、合座欢乐度和应用圆善性。以下是对每个相干问题的醒目分析和商榷。

5.1 RQ1：LLM-based GUI再行排序的有用性

施行终局 本文建议的LLM-based GUI再行排序格式在多个评估场地上显赫优于现存的BERT-LTR模子。具体来说，本文格式的平均精度（AP）达到了0.818，而BERT-LTR模子的最好精度仅为0.501。此外，本文格式在Precision@k、HITS@k和NDCG@k等场地上也进展出色。

商榷 这些终局标明，LLM-based GUI再行排序格式简略有用减少误报（FP），教悔检索终局的干系性。荒谬是在高精度的条目下，本文格式简略生成更少的不干捆绑尾，从而为后续的GUI生成任务提供了更高质料的输入。此外，本文还对误报进行了醒目分析，发现这些误报等闲仍然具有一定的干系性，仅仅枯竭了一些次邀功能或细节。

论断 LLM-based GUI再行排序格式显赫优于现存的GUI再行排序模子，简略为GUI生成任务提供更高质料的检索终局。

5.2 RQ2：ZS领导格式的有用性

施行终局 在评估ZS领导格式的有用性时，本文发现自我批判格式（SCGG）在大多数评估场地上显赫优于基线格式和领导剖析格式（PDGG）。具体来说，SCGG在功能圆善性、功能宽度、功能完结、信息组织、视觉诱骗力、荒唐率、合座欢乐度和应用圆善性等方面均进展出色。RAGG格式在使用了朝上5个示例的情况下，也在功能宽度和应用圆善性方面进展优异。

商榷 SCGG格式的上风在于其迭代的响应和修正机制，简略不停阅兵生成的GUI原型。通过屡次迭代，SCGG简略生成更复杂、更圆善的GUI原型，显赫教悔了其功能性和视觉诱骗力。RAGG格式律阐述通过劝诱LLM的生成才和解GUI仓库的检索才调，生成了更具创意和实用性的GUI原型。

论断 SCGG格式在大多数评估场地上显赫优于基线格式和PDGG格式，RAGG格式在使用了填塞数目的示例后也进展出色。

添加图片扫视，不朝上 140 字（可选）

5.3 RQ3：RAGG中示例数目的影响

施行终局 施行终局标明，跟着示例数目的增多，RAGG格式的后果渐渐教悔。荒谬是在使用了7个示例的情况下，RAGG在功能圆善性、功能宽度、功能完结和应用圆善性等方面均显赫优于基线格式。

商榷 这些终局标明，RAGG格式简略通过增多示例数目来教悔生成GUI原型的质料。更多的示例意味着LLM简略参考更多的干系GUI原型，从而生成更复杂、更圆善的GUI布局和联想。

论断 增多示例数目简略显赫教悔RAGG格式的后果，荒谬是在功颖异系性和应用圆善性方面。

添加图片扫视，不朝上 140 字（可选）

5.4 RQ4：SCGG中轮回次数的影响

施行终局 跟着轮回次数的增多，SCGG格式在功颖异系性和应用圆善性方面的后果渐渐教悔。荒谬是在进行了3次轮回后，SCGG在功能圆善性、功能宽度和功能完结等方面均进展出显赫阅兵。

商榷 这些终局标明，SCGG格式通过屡次迭代简略不停阅兵生成的GUI原型。每次迭代王人通过响应LLM生成阅兵建议，并通过原型生成LLM生成新的GUI原型，从而缓缓教悔其质料和准确性。

论断 增多轮回次数简略显赫教悔SCGG格式的后果，荒谬是在功颖异系性和应用圆善性方面。

添加图片扫视，不朝上 140 字（可选）

5.5 RQ5：GUI内容生成的有用性

施行终局 施行终局标明，基于LLM的GUI内容生成格式显赫教悔了GUI原型的视觉诱骗力、合座欢乐度和应用圆善性。荒谬是在SCGG格式中，内容生成进一步增强了GUI原型的着实感。

商榷 这些终局标明，通过生成着实的文本和图像内容，GUI原型的诱骗力和实用性得到了显赫教悔。内容生成格式不仅增多了GUI原型的视觉诱骗力，还教悔了其功能圆善性，使其看起来更像一个圆善的应用顺次。

论断

基于LLM的GUI内容生成格式显赫教悔了GUI原型的视觉诱骗力、合座欢乐度和应用圆善性。

添加图片扫视，不朝上 140 字（可选）

第六章：局限性

尽管本文建议的格式在GUI生成方面进展出色，但仍存在一些局限性。率先，LLM-based GUI再行排序格式天然显赫优于现存格式，但在某些情况下仍会产生误报。其次，SCGG格式天然后果显赫，但需要耗尽大王人的联想资源。异日相干不错进一步优化这些格式，教悔其效力和适用性。

第七章：有用性禁绝

7.1 里面有用性

本文通过严格的参与者筛选和留意力查验，确保了评估数据的质料。然而，生成的原型中功能数目的增多可能会影响信息组织和视觉联想的评估终局。

7.2 外部有用性

本文的施行数据基于Rico GUI数据集，可能法例了终局的普适性。荒谬是关于某些特殊领域的GUI，本文格式的适用性可能有限。

第八章：干系使命

本文纪念了现存的GUI生成和检索格式，指出了这些格式在生成低保真度布局和清苦交互性方面的局限性。本文建议的格式通过劝诱LLM和GUI仓库，显赫教悔了GUI原型的生成后果。

第九章：论断与异日使命

本文建议了多种零样本领导格式，显赫教悔了GUI原型的生成后果。荒谬是SCGG格式在大多数评估场地上进展优异。异日相干不错进一步优化这些格式，教悔其效力和适用性。

通过本文的相干，咱们为高保真GUI原型的自动生成提供了新的想路和格式91porn 91porn，显赫缩短了原型联想的资本和时辰插足，为交互式系统的开发提供了有劲救济。