赛事转播由观众当导播?“自由视角”技术让冬奥观赛身临其境******
你是否想象过,通过任意视角“无死角”观察比赛细节的新体验——随意滑动手机屏幕,比赛转播画面便相应转换角度,当选定角度松开手指,画面即以新的视角和位置播放;借助“子弹时间”技术,在比赛过程中“凝固时空”,全方位观看运动员的竞技瞬间……
“这个技术让我们坐在家里却好像置身赛场,360度想看哪里就看哪里,紧紧跟上瞬息万变的赛场形势。”使体育赛事观众感到新奇的这一体验,是国家重点研发计划“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”中,由优酷参与研发的历时两年多研发的“自由视角”视频技术所带来的。该技术于2021年4月亮相“相约北京”冬季体育冰上项目测试活动,分别在国家体育馆、五棵松体育馆运行测试。
赛事转播新技术的惊艳亮相,进一步推动着科技创新与冬奥赛事深度融合。通过我国企业自主研发的“自由视角”视频技术对冬奥冰雪项目进行示范播出,观众可使用电视、手机或VR设备,通过自主交互连续改变视角和位置,既可以让画面静止以观察某一个比赛瞬间的不同角度,又可以让画面保持流动而不打断比赛,让观众自己当“导播”,突破传统的定点和被动式观赏赛事,提升用户观赛体验。
观众体验自由视角观赛
“我们看到的画面并不是由相机单纯拍摄的,而是通过算法渲染出来,根据三维程序补充出来的。”优酷“自由视角”系统课题负责人盛骁杰介绍,在测试活动中,国家体育馆内的U型架上共架设40台相机,总长度达210米。通过三维重建和渲染,可以渲染出任意时长和帧率的精彩特效片段,相当于1200台相机同时拍摄拼接的效果。无须特殊装备,也不用专门的带宽,仅需手持5G手机,搭配5G网络,冰雪“发烧友”就可以便捷实现高质量的交互式观赛。
据了解,在内容生产上,“自由视角”技术能嵌入转播信号,实现多角度、清晰的即时三维比赛细节还原。针对冰球比赛,这一技术以重点镜头和氛围镜头为侧重,能够让观众感受到冰球赛事独特的魅力。此外,该技术可协助裁判更快速、精准地做出判罚,还能使运动员和教练员在日常训练中多角度直观回顾场上细节。“它可以直接植入到普通的转播当中,比如场上比赛的某一瞬间,观众或裁判没看清楚,系统可以随时生成一个360度的信号提供给裁判和转播商,能够很好地解决判罚和观赏方面的问题。”盛骁杰说。
“‘自由视角’技术的目标是建立交互式多维度观赛体验系统。具体来讲,我们想实现全新的观赛体验。”“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”项目负责人、北京大学博雅特聘教授陈宝权表示,这一技术的第一个特点是实现了多视点观赛功能,第二个是交互性,观众可以决定自己的视点,选择其最舒适的视角去看精彩的比赛。同时,“自由视角”技术还实现了多终端的观看,除通过电视收看外,还支持手机端和VR设备观看。“戴着VR设备,不需要手的交互,而是通过人们身体的自然交互,VR设备的视角能使我们进一步达到身临其境的观赛体验。”
工作人员对自由视角视频直播作测试
事实上,在应用于北京冬奥会赛事转播前,“自由视角”技术已成功落地多档综艺节目及CBA、CUBA等体育赛事场景。而测试活动中所使用的“自由视角”技术和以往的应用有所不同,项目组形成了具有自主知识产权的端到端自由视角点播和直播系统,将8K“自由视角”系统从现场阵列采集、云端三维重建、编码传输到终端解码渲染都做到了端到端实时处理,从而达到能够支持冬奥相关赛事直播的技术水平。(孔繁鑫)
何宝宏:从学习到创造,生成式AI取得突破性进展******
“2022年AI绘画和ChatGTP的重要性不亚于2016年AlphaGo战胜人类围棋冠军的价值,这是否会引发新一轮的内容科技的革命,是值得我们关注的问题。”在近日举行的“风向Talks 2023”思享会上,中国信息通信研究院云计算与大数据研究所所长何宝宏围绕技术转型、信息革命、数据资产、Web3、信任科技、元宇宙、技术周期律、经济学2.0、AI、数字原生等热门领域进行了分享。
何宝宏表示,生成式AI在2022年取得了突破性的进展,人工智能开始从学习走向创造。
近年来,随着技术的发展,内容创作的方式不断发生变革,经历了从PGC(专业生产内容)到UGC(用户生产内容),再到PUGC(专业用户生产内容)的发展历程。到了人工智能时代,可实现AIGC(人工智能创作内容) ,未来可能发展到P-AIGC(专业人员指导下的AIGC)。
AIGC背后是一个大的模型,何宝宏介绍,过去五年,由于大模型的参数指数级增长带来了大模型“智力”的指数级增长。2020年,机器基本只能完成文本生成,目前可以进行图像生成,未来能实现视频生成。2016年,机器视觉可以从图片中识别文字;2022年,机器实现了AI绘画,可以通过文字生成图像。
不仅如此,人工智能的进步还体现在科学方面,目前正在兴起的AI编程的软件2.0,可以实现以代码为中心到以数据为中心的编程思维,即程序员只需要设定超级参数,普通参数将通过数据训练实现。生命科学方面,2021年AI发现了蛋白质结构,2022年AI生成了蛋白质结构,由此AIGC入选了《Science》2022年度科学十大突破。
在谈到在2022年同样大火的“元宇宙”时,何宝宏表示,每隔7年左右,都会有名为“下一代互联网”的技术出现,每次还都不一样。目前,互联网发展正面临以元宇宙为代表的信息互联网以及以Web3.0为代表的价值互联网的“新岔道”。
不过,在他看来,现阶段,元宇宙依然是各种要素的“大杂烩”,还没有找到最佳实践。基于VR的元宇宙在未来3-5年内依然会是小众市场,实现“生态化反”还需要更多时间。
“VR现阶段的体验并不像数字孪生,而更像是‘数字植物人’,除了有视觉和听觉体验之外,还缺少嗅觉、味觉和触觉的感受。未来,仍需积极探索,将生产要素有机地组织起来。”何宝宏说。(宋雅娟)
(文图:赵筱尘 巫邓炎)