新浪科技讯 5月23日下午消息，豆包App近日上线实时视频通话功能，用户在电话界面开启视频画面后，豆包能基于真实场景与用户进行实时问答互动。
据介绍，旅行过程中，用户可打开其视频通话，询问所处景点的历史背景、特色内容或路线规划等。例如，用户在故宫参观时，可以通过视频向“豆包”展示景点画面，了解特定宫殿的历史故事、建筑特色，实现“边走边聊”。在博物馆、美术馆等场景，也可以打开视频通话功能，随时问豆包展品的背景信息。
据悉，该功能基于最新的豆包视觉理解模型。模型拥有较好的内容识别、理解推理和内容描述能力，能够融合视觉与语言输入，进行综合的深度思考和创作。根据图像信息，豆包视觉理解模型还能完成诸多复杂的逻辑计算任务，包括解微积分题、分析论文图表、诊断真实代码问题等挑战性任务。
此外，为进一步提升对话的准确性与时效性，豆包视频通话功能还接入了联网搜索能力，实时获取互联网最新信息。
去年底，豆包上线图片理解功能，支持上传图片后识别内容，包括理解梗图等。如今，豆包进一步升级，将视觉理解能力延伸到视频场景，让用户在生活场景中直接互动，大幅降低用户的交互门槛，打造边看边聊的智能化体验。（罗宁）
还没有评论，来说两句吧...