當(dāng)前,在大模型技術(shù)引領(lǐng)下,各行業(yè)都在找尋新質(zhì)生產(chǎn)力與產(chǎn)業(yè)的融合點(diǎn)。當(dāng)大模型與數(shù)字人結(jié)合,全新智能助手智能體橫空出世,“真人形象+智腦+慧眼”為一體,進(jìn)入各領(lǐng)域,帶來令人贊嘆的超預(yù)期體驗(yàn)。近期,由螢石開放平臺(tái)提供數(shù)字人技術(shù),開發(fā)者集成行業(yè)應(yīng)用打造的智慧醫(yī)療智能體——“小七”,正式在上海某醫(yī)院上崗,并隨同專家團(tuán)隊(duì)深入社區(qū)、企業(yè)及學(xué)校,開展惠民診療活動(dòng)。
據(jù)新華網(wǎng)報(bào)道,“小七健康咨詢”機(jī)器人,是集人工智能、中醫(yī)體質(zhì)理論與云計(jì)算技術(shù)于一體的智能健康管理工具,以“治未病”理念為核心,為上海市民提供覆蓋全生命周期的精準(zhǔn)健康服務(wù)。
數(shù)字人智能體功能集成
機(jī)器人提供了體質(zhì)辨識(shí)、健康咨詢、個(gè)性化診療方案推薦等中醫(yī)診療功能。其中,機(jī)器人大腦集成了最新的AI智能體,通過舌面圖像分析、用戶醫(yī)療咨詢等內(nèi)容,結(jié)合中醫(yī)知識(shí)圖譜、開源大模型,系統(tǒng)可快速生成體質(zhì)報(bào)告,并結(jié)合《黃帝內(nèi)經(jīng)》等向量知識(shí)庫,提供節(jié)氣養(yǎng)生、疾病預(yù)警等精準(zhǔn)建議。
智能體+數(shù)字人,從診療接待到具體問診再到治療報(bào)告閱讀,全程由數(shù)字人參與完成。最終的診療報(bào)告,是由真人醫(yī)生定制的“醫(yī)生數(shù)字人”來進(jìn)行播報(bào),進(jìn)一步提升了診療服務(wù)的可靠性。具體體驗(yàn)流程:導(dǎo)醫(yī)形象數(shù)字人進(jìn)行接待,引導(dǎo)體驗(yàn)者輸入基本信息和指標(biāo),還可通過設(shè)備自帶的視頻模塊,進(jìn)行舌苔分析等癥狀識(shí)別,為體驗(yàn)者進(jìn)行相應(yīng)診斷。通過醫(yī)療大數(shù)據(jù)解析,生成診斷報(bào)告和建議,內(nèi)容由數(shù)字人醫(yī)生形象進(jìn)行推送播報(bào)。讓用戶全程感受醫(yī)生診療的體驗(yàn)。
① 提供大模型語音識(shí)別+醫(yī)療大模型
大模型
提供基于DeepSeek-V3的大模型能力,具備完善的知識(shí)儲(chǔ)備和分析能力。
自定義知識(shí)庫
幫助開發(fā)者將醫(yī)院及上萬條通用醫(yī)療知識(shí)文檔導(dǎo)入知識(shí)庫,并協(xié)助串聯(lián)知識(shí)圖譜。
② 提供數(shù)字人服務(wù)
數(shù)字人形象定制
基于醫(yī)院醫(yī)生的形象+聲音定制數(shù)字人,生成更具特色的展示形象。
數(shù)字人云驅(qū)動(dòng)
在上述上海某醫(yī)院案例中,數(shù)字人需覆蓋48個(gè)社區(qū)醫(yī)院的分布,螢石提供了云渲染的模式,幫助開發(fā)者快速布局落地。
③ 提供屏類硬件
智能體交互硬件主要載體為大屏,由海康威視提供不同尺寸設(shè)備(可聯(lián)系海康銷售具體溝通)。大屏硬件集成了定向拾音、降噪攝像頭,并結(jié)合人臉識(shí)別算法,識(shí)別當(dāng)前說話者,在多人圍觀時(shí)提供更佳體驗(yàn)。
螢石數(shù)字人是具有螢石完全自研技術(shù),對(duì)外提供數(shù)字人SDK服務(wù)、數(shù)字人交互PaaS接口與服務(wù),融合大模型及行業(yè)知識(shí)的智能化創(chuàng)新服務(wù)。目前螢石數(shù)字人已經(jīng)在醫(yī)療機(jī)構(gòu)、銀行、文旅景區(qū)、博物館等多場(chǎng)景落地。