I komplekse miljøer kan mennesker forstå betydningen af tale bedre end AI, fordi vi ikke kun bruger vores ører, men også vores øjne.
For eksempel ser vi en persons mund bevæge sig og kan intuitivt vide, at den lyd, vi hører, skal komme fra denne person.
Meta AI arbejder på et nyt AI-dialogsystem, som skal lære AI også at lære at genkende subtile sammenhænge mellem, hvad den ser og hører i en samtale.
VisualVoice lærer på samme måde som, hvordan mennesker lærer at mestre nye færdigheder, hvilket muliggør audiovisuel taleadskillelse ved at lære visuelle og auditive signaler fra umærkede videoer.
For maskiner skaber dette bedre opfattelse, mens menneskelig opfattelse forbedres.
Forestil dig at kunne deltage i gruppemøder i metaverset med kolleger fra hele verden, deltage i mindre gruppemøder, mens de bevæger sig gennem det virtuelle rum, hvor lydens rumklang og klange i scenen gør sig efter omgivelserne.
Det vil sige, at den kan få lyd-, video- og tekstinformation på samme tid og har en rigere miljøforståelsesmodel, der giver brugerne mulighed for at få en "meget wow" lydoplevelse.
Indlægstid: 20-jul-2022
