Więcej...

Audio Performance Transfer

01.10.2017 
Audio Performance Transfer

APT, czyli Audio Performance Transfer, to silnik, dusza i centralny element programu Revoice Pro, będący udoskonaloną technologią VocALign, opracowaną przez firmę Synchro Arts. Warto jej się bliżej przyjrzeć, by w pełni móc docenić skalę możliwości, jakie oferuje ta aplikacja. Jednak na początku cofnijmy się trochę w czasie, by lepiej zrozumieć, na czym ją zbudowano...

Założona w 1994 roku firma Lilypost Limited, która wkrótce zmieniła swą nazwę na Synchro Arts Limited nie wzięła się z powietrza. Jej twórcą, a wcześniej też firmy Wordfit Limited, jest pochodzący z USA Phillip Jeffrey Bloom, fizyk-akustyk, który w połowie lat 70. minionego wieku przeniósł się do Wielkiej Brytanii, gdzie - po zdobyciu doświadczenia w zakresie technologii cyfrowego przetwarzania dźwięku - rozpoczął prace nad systemem automatycznego zastępowania dialogów w filmie partiami nagranymi w studiu.

Rocket science

Za pomocą dostępnych wówczas, dość prymitywnych komputerów zaczęto realizować tę ideę na początku lat 80. Co ciekawe, wykorzystano w niej założenia w prostej linii pochodzące z zasady funkcjonowania defensywnych naprowadzających systemów rakietowych, opartej m.in. na technice programowania dynamicznego. W krajach anglosaskich utarło się mówienie o rzeczach prostych, że nie jest to "rocket science", ale gdy mówimy o firmie Synchro Arts, to w jej akurat przypadku to jest prawdziwa "rocket science"...

Wprawdzie w latach 80. przetworzenie 5 sekund materiału trwało ok. 20 minut i nie było mowy o żadnym interfejsie graficznym, ale w ten sposób powstał fundament pod kolejne rozwiązania w zakresie dopasowania jednego dźwięku do drugiego. Od 1984 roku program o nazwie Wordfit został wykorzystany między innymi w takich filmach jak Dune, Podróż do Indii, Zaklęta w sokoła i wielu innych, a systemy zostały sprzedane m.in. do Warner Brothers i Universal za około 50.000 funtów każdy, co dzisiaj byłoby sumą ok. trzykrotnie większą.

"Po drodze", pod nazwą Digital Audio Research, w 1990 roku powstała edycyjna stacja robocza SoundStation (z dotykowym ekranem!), której Wordfit był jednym z elementów.

W 1994 roku system Wordfit przyjął postać wtyczki o nazwie VocALign, której efekty pracy można dziś usłyszeć w takich filmach jak Władca Pierścieni, Harry Potter, serialach Przyjaciele i Seinfeld (tak, wszystkie dialogi w tych produkcjach były dubbingowane!), a także na najważniejszych płytach z tamtych lat, w tym Black Eyed Peas czy Shania Twain.

Od tamtego momentu większość produkcji muzycznych pop i hip-hop zaczęła się charakteryzować precyzyjnie wyrównanymi głosami i wykonanymi z mikrometryczną precyzją chórkami. Już na samym początku sprzedano ponad 2.000 tych wtyczek, ale mówienie o ich wykorzystaniu w danej produkcji aż po dziś dzień bywa krępujące dla realizatorów i samych wykonawców... Prawda jednak jest tak, że wyrównywanie wokali oraz instrumentów to wręcz standardowa praca w każdym studiu.

Co ciekawe, pierwszy ReVoice (pod nazwą Studio) pojawił się w 2000 roku i był technologią VocALign wykorzystaną w produktach konsumenckich. Np. sprzedana w nakładzie ponad 40 milionów kopii interaktywna płyta DVD z filmem Shreck wyposażona w tę aplikację, po włożeniu do komputera pozwalała użytkownikowi nagrywać swój głos do dialogów, który następnie był dopasowywany do ruchu "ust" postaci w filmie.

Wraz z początkiem nowego stulecia Bloom ze współpracownikami zaczął pracować nad algorytmem, który oprócz wyrównywania rytmu pod kątem transjentów dokonywałby tego także w odniesieniu do wysokości dźwięku. Na początku nowa technologia była stosowana wyłącznie w różnego typu aplikacjach konsumenckich, jak Revoice Singtone czy Sing Perfect (już dla iPhona). Zachęcony przez Tony’ego Maserati do opracowania profesjonalnej wersji tych rozwiązań, Bloom stworzył w 2011 roku ReVoice Pro, który w bardzo krótkim czasie stał się kluczową aplikacją do szeroko zakrojonej edycji oraz automatyzacji rytmiki, wysokości dźwięku, dopasowywania różnych partii względem siebie itp.

Nie tylko APT

Przedstawiony na diagramie obok schemat blokowy procesu APT prezentuje w ogólnych zarysach sposób działania algorytmu dopasowującego dwa materiały dźwiękowe. Sprowadza się on do porównywania materiału wiodącego (w nomenklaturze ReVoice określanego jako Guide) z materiałem, który zostanie dopasowany (Dub), a następnie do zaaplikowania w odniesieniu do tego ostatniego wszystkich procesów, których parametry zostaną wyliczone na podstawie różnic z porównania. W efekcie materiał znajdujący się na ścieżce Dub zostanie przetworzony i zapisany na oddzielnym śladzie (wskazanym jako Target). Na bazie dwóch oryginałów powstaje zatem trzeci plik, będący efektem przetworzenia materiału dopasowywanego.

Cały proces dokonuje się offline i w zależności od stopnia złożoności, liczby zaangażowanych śladów i długości przetwarzanego materiału może trwać od kilku do kilkunastu sekund. Już w poprzednich odcinkach naszego cyklu wspominałem, że najbardziej efektywnym sposobem pracy z ReVoice Pro jest podział dłuższych materiałów na fragmenty (regiony) o czasie trwania nie przekraczającym 30 sekund. Należy tego dokonać jeszcze przed rozpoczęciem jakichkolwiek prac, ponieważ po zaaplikowaniu dowolnego procesu APT podział na regiony nie będzie możliwy bez usunięcia efektów działania danego procesu.

Trzeba zaznaczyć, że APT (czyli automatyczne wyrównywanie i/lub dostrajanie jednej lub więcej ścieżek do ścieżki wzorcowej) nie jest jedynym procesem dostępnym w ReVoice Pro. Oprócz niego mamy do dyspozycji także inne narzędzia. Doubler pozwala na stworzenie drugiego głosu, w którym w zdefiniowanym przez nas zakresie pojawiają się przypadkowe zmiany rytmu i wysokości dźwięku emulujące efekt nagrania drugiego głosu, czyli tzw. dubla. Proces Volume pozwala natomiast precyzyjnie wyrównać głośność materiału przetwarzanego, dopasowując ją tak, jak w materiale wzorcowym. Warto z tą funkcją poeksperymentować w odniesieniu do różnych plików, ponieważ pozwala ona uzyskać bardzo ciekawe efekty. Warp jest procesem, którego aktywacja pozwala nam na ręczne dostrajanie partii jednogłosowych, czyli w praktyce na korekcję intonacji wokalu lub instrumentalnych solówek. I wreszcie Analyzer, który pozwala bliżej przyjrzeć się rozkładowi energii i częstotliwości dźwięku, choć funkcjonalność tego procesu w tej wersji ReVoice budzi jeszcze spore zastrzeżenia.

APT pod maską

Zaaplikowanie jakiegoś procesu APT, np. wyrównania czy wyrównania z dostrojeniem, nie zamyka nam drogi do skorygowania ustawień przebiegu dokonanego procesu. Wprawdzie firma Synchro Arts schowała sporo elementów tego bardzo zaawansowanego algorytmu "pod maskę", ale możemy ją otworzyć klikając trójkąt w dolnej części przebiegu na ścieżce, znajdujący się na zielonym pasku. Możemy tam zmienić praktycznie wszystko, włącznie z zastosowanym algorytmem APT, np. zamiast wyrównywania zastosować dostrajanie albo zmienić jakieś parametry, których ustawienia nam nie odpowiadają. Ważne jest to, że edycja jest niezależna dla każdego regionu, dzięki czemu ustawienia, które sprawdziły się np. w jednej frazie partii wokalu mogą być zmienione w kolejnej.

Każdy stworzony przez nas zestaw ustawień danego procesu można zapisać jako preset z indywidualną nazwą. To bardzo przydatna funkcja, gdy pracujemy z różnymi wykonawcami, którzy po jakimś czasie znów dokonują nagrań. Po wprowadzeniu odpowiadających nam ustawień klikamy fioletowy przycisk z nazwą procesu i z menu wybieramy Save As Preset. Później jest on dostępny w menu User Presets.

Z zapisywania ustawień można skorzystać na etapie edycji, sprawdzając kilka różnych konfiguracji, a następnie porównując efekty ich działania. W tym celu, zaraz po dokonaniu zmiany i odsłuchaniu jej efektów klikamy przycisk Compare i zaznaczamy Save Version. Program automatycznie nadaje im nazwy A, B, C itd., które są potem zapisywane w ramach presetu. Jeśli teraz chcemy sprawdzić, która opcja ustawień nam najbardziej odpowiada, to klikamy Compare i wybieramy odpowiednią literę. Wersje które nie działają tak jak chcemy, możemy usunąć funkcją Delete Version.

Tomasz Wróblewski