I komplekse miljøer kan mennesker forstå betydningen af tale bedre end AI, fordi vi ikke kun bruger vores ører, men også vores øjne.
For eksempel ser vi en persons mund bevæge sig og kan intuitivt vide, at den lyd, vi hører, må komme fra den person.
Meta AI arbejder på et nyt AI-dialogsystem, som skal lære AI også at genkende subtile korrelationer mellem, hvad den ser og hører i en samtale.
VisualVoice lærer på samme måde som mennesker lærer at mestre nye færdigheder, hvilket muliggør adskillelse af audiovisuel tale ved at lære visuelle og auditive signaler fra umærkede videoer.
For maskiner skaber dette en bedre opfattelse, mens den menneskelige opfattelse forbedres.
Forestil dig at kunne deltage i gruppemøder i metaverset med kolleger fra hele verden og deltage i mindre gruppemøder, mens de bevæger sig gennem det virtuelle rum, hvor lydens rumklang og klangfarver i scenen tilpasser sig omgivelserne.
Det vil sige, at den kan indhente lyd-, video- og tekstinformation på samme tid og har en rigere forståelsesmodel for omgivelserne, der giver brugerne en "meget wow" lydoplevelse.
Opslagstidspunkt: 20. juli 2022
