I komplekse miljøer kan mennesker forstå betydningen af tale bedre end AI, fordi vi ikke kun bruger vores ører, men også vores øjne.
For eksempel ser vi en persons mund bevæge sig og kan intuitivt vide, at den lyd, vi hører, skal komme fra denne person.
Meta AI arbejder på et nyt AI -dialogsystem, som er at lære AI at også lære at genkende subtile sammenhænge mellem hvad det ser og hører i en samtale.
VisualVoice lærer på en lignende måde som, hvordan mennesker lærer at mestre nye færdigheder, hvilket muliggør audiovisuel tale adskillelse ved at lære visuelle og auditive signaler fra umærkede videoer.
For maskiner skaber dette bedre opfattelse, mens menneskelig opfattelse forbedres.
Forestil dig at være i stand til at deltage i gruppemøder i Metaverse med kolleger fra hele verden, og slutte sig til mindre gruppemøder, når de bevæger sig gennem det virtuelle rum, hvor lyden reverbs og timbres i scenen gør i henhold til miljøet justeres i overensstemmelse hermed.
Det vil sige, det kan få lyd-, video- og tekstinformation på samme tid og har en rigere miljøforståelsesmodel, der giver brugerne mulighed for at få en "meget wow" lydoplevelse.
Posttid: Jul-20-2022
