Kapitel Vier: Live Cinema Software als instrumentelles Medium und mediales Instrument für fliessende Erzählungen
From Live Cinema Research
Revision as of 10:23, 30 August 2006 GG (Talk | contribs) ← Previous diff |
Current revision GG (Talk | contribs) |
||
Line 3: | Line 3: | ||
expanded cinema 107: ''This process, best described as "post-stylization," is accomplished through cinematic equivalents of the four historical styles of art: realism, surrealism, constructivism, and expressionism. Cinematic realism already has been defined as Cinéma-vérité capturing and preserving a picture of time as perceived through unstylized events. Cinematic surrealism is achieved by the juxtaposition of unstylized elements so incongruous and remote that close proximity creates an extra dimension, a psychological reality that arises out of the interface. Cinematic constructivism, as we've discussed it, actually is the universal subject of synaesthetic cinema: a constructivist statement, a record of the process of its own making. Cinematic expressionism involves the deliberate alteration or distortion of unstylized reality, either during photography with lenses, filters, lights, etc., or after photography with optical printing, painting, or scratching on film.'' | expanded cinema 107: ''This process, best described as "post-stylization," is accomplished through cinematic equivalents of the four historical styles of art: realism, surrealism, constructivism, and expressionism. Cinematic realism already has been defined as Cinéma-vérité capturing and preserving a picture of time as perceived through unstylized events. Cinematic surrealism is achieved by the juxtaposition of unstylized elements so incongruous and remote that close proximity creates an extra dimension, a psychological reality that arises out of the interface. Cinematic constructivism, as we've discussed it, actually is the universal subject of synaesthetic cinema: a constructivist statement, a record of the process of its own making. Cinematic expressionism involves the deliberate alteration or distortion of unstylized reality, either during photography with lenses, filters, lights, etc., or after photography with optical printing, painting, or scratching on film.'' | ||
- | Trotz aller Direktheit und Nähe steht bei einer Live Cinema Performance immer etwas zwischen Publikum und Künstler (zumindest solange es keine Gehirnprojektoren gibt). Das Interface, oder vielleicht auch das Instrument, das er benutzt, um seine Bildmagie zu vollführen, ist definitiv als Hindernis in der direkten Kommunikation anzusehen. Hinzu kommt, dass durch den riesigen Datenfluss, der durch die bewegten, auf mehrere Ebenen verteilten und zeitlich nebeneinander existierenden Bilderreihen entsteht, technisches Equipment, aber auch der menschliche Geist bis zum Rand ausgereizt werden. Das durch Mustererkennung optimierte Gehirn verarbeitet die eingehenden Signale in abstrakter Form parallel und teilweise unterbewusst. Ein Live Cinema, wie in den vergangenen Kapiteln beschrieben, wird Technik auf dem derzeitigen Stand bis an das Kapazitätsmaximum fordern. Eine optische Qualität, wie sie im Kino vorherrscht, kann wohl erst in 2-5 Jahren erzeugt werden. Die Qualität, die im Moment erreicht wird, ist mit der des Fernsehens zu vergleichen, jedoch trotzdem ohne weiteres tauglich, auch auf großen Projektionsflächen gespielt zu werden (bis vor kurzem reichte den VJs sogar halbe Videoauflösung aus, um ihre Sets zu spielen, meist selbst vom unterrichteten Publikum unbemerkt). Doch die Datenmenge und deren Verarbeitung erfordert nicht nur potente Technik. Es muss dem Künstler auch ein möglichst verlustfreier, direkter Zugang zu den Daten verschafft werden und ihm erlauben, diese auf gewünschte Weise zu ordnen und miteinander zu verbinden. Alle im Moment verfügbaren Möglichkeiten, die eine Echtzeit-Interaktion in Verbindung mit Musik bieten, haben aber große Defizite, die sie für einen Live Cinema uninteressant machen. Ein Live Cinema Instrument sollte alle bereits erwähnten Elemente in sich vereinen und dem Künstler auf einfachste Art und Weise direkt zur Manipulation zur Verfügung stellen. | + | Trotz aller Direktheit und Nähe steht bei einer Live Cinema Performance immer etwas zwischen Publikum und Künstler (zumindest solange es keine Gehirnprojektoren gibt). Das Interface, oder vielleicht auch das Instrument, das er benutzt, um seine Bildmagie zu vollführen, ist definitiv als Hindernis in der direkten Kommunikation anzusehen. Hinzu kommt, dass durch den riesigen Datenfluss, der durch die bewegten, auf mehrere Ebenen verteilten und zeitlich nebeneinander existierenden Bilderreihen entsteht, technisches Equipment, aber auch der menschliche Geist bis zum Rand ausgereizt werden. Das durch Mustererkennung optimierte Gehirn verarbeitet die eingehenden Signale in abstrakter Form parallel und teilweise unterbewusst. Ein Live Cinema, wie in den vorangegangenen Kapiteln beschrieben, wird Technik auf dem derzeitigen Stand bis an das Kapazitätsmaximum fordern. Eine optische Qualität, wie sie im Kino vorherrscht, kann wohl erst in 2-5 Jahren erzeugt werden. Die Qualität, die im Moment erreicht wird, ist mit der des Fernsehens zu vergleichen, jedoch trotzdem ohne weiteres tauglich, auch auf großen Projektionsflächen gespielt zu werden (bis vor kurzem reichte den VJs sogar halbe Videoauflösung aus, um ihre Sets zu spielen, meist selbst vom unterrichteten Publikum unbemerkt). Doch die Datenmenge und deren Verarbeitung erfordert nicht nur potente Technik. Es muss dem Künstler auch ein möglichst verlustfreier, direkter Zugang zu den Daten verschafft werden und ihm erlauben, diese auf gewünschte Weise zu ordnen und miteinander zu verbinden. Alle im Moment verfügbaren Möglichkeiten, die eine Echtzeit-Interaktion in Verbindung mit Musik bieten, haben aber große Defizite, die sie für einen Live Cinema uninteressant machen. Ein Live Cinema Instrument sollte alle bereits erwähnten Elemente in sich vereinen und dem Künstler auf einfachste Art und Weise direkt zur Manipulation zur Verfügung stellen. |
Current revision
Grafik Interaktion Publikum -> Künstler -> Gerät/Interface -> Medium -> Publikum
expanded cinema 107: This process, best described as "post-stylization," is accomplished through cinematic equivalents of the four historical styles of art: realism, surrealism, constructivism, and expressionism. Cinematic realism already has been defined as Cinéma-vérité capturing and preserving a picture of time as perceived through unstylized events. Cinematic surrealism is achieved by the juxtaposition of unstylized elements so incongruous and remote that close proximity creates an extra dimension, a psychological reality that arises out of the interface. Cinematic constructivism, as we've discussed it, actually is the universal subject of synaesthetic cinema: a constructivist statement, a record of the process of its own making. Cinematic expressionism involves the deliberate alteration or distortion of unstylized reality, either during photography with lenses, filters, lights, etc., or after photography with optical printing, painting, or scratching on film.
Trotz aller Direktheit und Nähe steht bei einer Live Cinema Performance immer etwas zwischen Publikum und Künstler (zumindest solange es keine Gehirnprojektoren gibt). Das Interface, oder vielleicht auch das Instrument, das er benutzt, um seine Bildmagie zu vollführen, ist definitiv als Hindernis in der direkten Kommunikation anzusehen. Hinzu kommt, dass durch den riesigen Datenfluss, der durch die bewegten, auf mehrere Ebenen verteilten und zeitlich nebeneinander existierenden Bilderreihen entsteht, technisches Equipment, aber auch der menschliche Geist bis zum Rand ausgereizt werden. Das durch Mustererkennung optimierte Gehirn verarbeitet die eingehenden Signale in abstrakter Form parallel und teilweise unterbewusst. Ein Live Cinema, wie in den vorangegangenen Kapiteln beschrieben, wird Technik auf dem derzeitigen Stand bis an das Kapazitätsmaximum fordern. Eine optische Qualität, wie sie im Kino vorherrscht, kann wohl erst in 2-5 Jahren erzeugt werden. Die Qualität, die im Moment erreicht wird, ist mit der des Fernsehens zu vergleichen, jedoch trotzdem ohne weiteres tauglich, auch auf großen Projektionsflächen gespielt zu werden (bis vor kurzem reichte den VJs sogar halbe Videoauflösung aus, um ihre Sets zu spielen, meist selbst vom unterrichteten Publikum unbemerkt). Doch die Datenmenge und deren Verarbeitung erfordert nicht nur potente Technik. Es muss dem Künstler auch ein möglichst verlustfreier, direkter Zugang zu den Daten verschafft werden und ihm erlauben, diese auf gewünschte Weise zu ordnen und miteinander zu verbinden. Alle im Moment verfügbaren Möglichkeiten, die eine Echtzeit-Interaktion in Verbindung mit Musik bieten, haben aber große Defizite, die sie für einen Live Cinema uninteressant machen. Ein Live Cinema Instrument sollte alle bereits erwähnten Elemente in sich vereinen und dem Künstler auf einfachste Art und Weise direkt zur Manipulation zur Verfügung stellen.
Evolutionäre Entwicklung
Die jüngste Geschichte ist durchsetzt mit Geräten, die versuchen, Bilder live zu generieren oder zu komponieren. Erst die Computerisierung hat den Künstlern die Möglichkeit gegeben, wirklich frei die Beziehung von Ton und Bild zu untersuchen, doch sind sie weit entfernt von einer Universallösung, auch wenn die Ansätze bereits viel versprechend sind. Das erste dokumentierte technische Gerät, welches die Sichtbarmachung von Tönen zur Funktion hatte, kam von Vater Bernand Castel. Der Jesuit entwickelte um etwa 1730 das optische Cembalo, welches aus einem etwa zwei Quadratmeter grossen Rahmen bestand, der über einem normalen Cembalo angebracht war. In diesem Rahmen befanden sich etwa 60 Fenster in unterschiedlichen Farben. Diese waren alle mit einem kleinen Vorhang versehen. Drückte man nun eine Taste des Cembalos öffnete sich der Vorhang eines dieser Fenster für einen kurzen Moment und lies einen eingefärbten Lichtstrahl hervortreten. Die Gesellschaft der Aufklärung strömte zu Vorführungen dieses Gerätes und kurz darauf 1754 wurde eine verbesserte Version mit besserer Leuchtkraft vorgestellt, die man durch 500 Kerzen erreichte. Jedoch war diese Apparatur schwierig zu bedienen, wurde sehr heiß und hatte oft Fehlfunktionen - es sollte ein Omen für die Zukunft dieser Art Gerätschaften sein.
Auch die Singende Lampe von Frederick Kästner (1873), die Farborgeln von Braunbridge Bishop (1875) und Alexander Wallace Rimington (1895) und das optophonische Klavier von dem Maler Vladimir Baranoff Rossiné (um 1930) beschäftigten sich noch mit der praktischen Überprüfung der Farb-Musik-Theorien. Ihr Vermächtnis findet sich heute in Kombination mit Mary-Hallock Greenwalds Erfindung des Regelwiderstands und des Flüssigquecksilber-Schalters in der Disco-, Bühnen- und Theaterbeleuchtung wieder und verbleibt ohne theoretische belegbare Grundlage. Frau Greenwald war die erste Frau der synästhethischen Kunst und brachte mit ihrer Erfindung und der dazugehörigen Farborgel "SaraBet" die live gespielte Farbmusik ins Zeitalter der Elektrizität.
Der Strom lieferte jedoch auch die Grundlage für wesentlich komplexer arbeitende Gerätschaften. Zuerst einmal erlaubte der Einsatz der Glühlampe ungefährlichere Geräte, die Muster auf Glasscheiben zum Leben erweckten. Thomas Wilfried untersuchte mit seinem Clavilux und dem an einen TV-Apparat erinnernden Clavilux Junior spirituelle Prinzipien auf Grundlage synästhethischer Verbindungen. Das Gerät lies über bemalte, an visuelle Schallplatten erinnernde Scheiben Farben ineinander blenden und erzeugte einen unendlichen Farbrhythmus. Seine Hoffnung auf einen ClaviLux Junior in jedem Wohnzimmer verwirklichte sich jedoch nicht. Elektrizität ermöglichte jedoch eine weitere Erfindung, die auch als Grundlage für die Mattscheibe gilt. Das Oscilloscope, oder besser, ein auf dessen Grundlage gebauter Militärradar der englischen Armee aus dem 2. Weltkrieg, wurde von John Whitney eingesetzt, um Tonwellen sichtbar zu machen und die entstandenen Bilder in einen künstlerischen Kontext zu setzen. Diese Entdeckung und der Siegeszug des Fernsehers ermöglichten dann auch die Erfindung der Videosynthesizer in den 1960er Jahren. Die analogen Synthesizer funktionierten meist ähnlich einem Oszilloskop (und damit auch ähnlich wie die Audiosynthesizer). Es werden mehrere Sinuskurven erstellt und gegeneinander verschoben, die Größen verändert, eingefärbt und ausgeschnitten. Dadurch kam man zu unendlich vielen Effekten und Formen, die bis vor noch etwa 10 Jahren kein Computer hätte in Echtzeit erstellen können. Es wurde hauptsächlich mit vier verschiedenen Arten von analogen Videosynthesizern experimentiert. Die Kamerabild-Prozessoren zählt man hauptsächlich zu Farbkorrektoren, welche es ermöglichen, ein Schwarz/Weiß-Signal einzufärben. Beispiele hierfür sind die Fairlight Electric Paintbox , der Paik-Abe-VideoSynthesizer mitentwickelt von legendären Videokünstler Nam June Paik und die CoxBox. Die direkten Videosynthesizer ähneln sehr einem Instrument, da sie alle Bilder selbst erzeugen ohne dabei auf ein externes Gerät zurückgreifen zu müssen. Als Beispiel kann man hier den Beck-Direct-Video-Synthesizer, das Ems-Spectron, den Siegel EVS und die Super Nova12 nennen. Bei der Abtast-Modulation handelt es sich um eine Technik, welche per Kamera ein modifiziertes Bild von einem hochauflösenden Bildschirm abtastet, um es in veränderter Form wieder in einem videofähigem Format aufzuzeichnen. Das Bild des Abtastmonitors besteht bei den meisten Geräten dieser Art aus einem speziellem Oszilloskop und kann auf verschiedenste Art in Größe, Position und Rotation verändert und animiert werden. Nach dem Abtasten werden dann eine Füllung, Farbe und zusätzliche Effekte hinzugefügt. Als Beispiel hierfür gelten das Scani Mate und der Rutt -Etra-Scan-Processor. Diese Geräte waren meist durch ihre Komplexität nicht für einen Live Einsatz geeignet - ganz im Gegensatz zu den nicht-aufnahmefähigen Synthesizern. Hier handelt es sich um Instrumenten ähnliche Vorrichtungen, die nur dem Zweck der Live-Vorführung dienen. Es kann keine Aufzeichnung gemacht werden, da die Bilder nur auf dem entsprechenden Bildschirm entstehen. Meist werden hier die Effekte durch Magnetverzerrungen erreicht, wie man sie auch beobachten kann, wenn man mit einem starken Magneten zu dicht an die Röhre eines entsprechenden Röhrenfernsehers kommt. Zu dieser Art der Synthesizer zählt man zum Beispiel Bill Hearns spektakuläres Vidium und das Tadlock Archetron. Anfang der 1980er Jahre schenkten die Entwickler einer neuen Art von Synthesizern ihre volle Aufmerksamkeit. Die Elektronik war in einem besonderen Maße vorangekommen und es war nun möglich Videobilder vollkommen digital zu verarbeiteten. Das half, die Größe der Geräte deutlich zu reduzieren und die Möglichkeiten der Videobearbeitung auszubauen. Jedoch verloren die generierten Bilder im Gegenzug ihr analoges Aussehen und - viele sind bis heute der Meinung - auch einen grossen Teil ihres Charmes. Einer der ersten digitalen Videosynthesizer war der Fairlight CVI aus Australien.
Neben der Entwicklung von Videosynthesizern gab es eine Bewegung, die von Anfang die bewegten Bilder des Films live mischen wollte. Charles Dockum entwickelte bereits 1936 sein "Farbmobile", eine auf synchronisierten Filmprojektoren basierte Erfindung, die er im Rahmen eines Stipendiums des Guggenheim Museums verfeinerte. Das Gerät musste aber von Hand bedient werden und hatte zahlreiche Probleme mit der fragilen Mechanik, sodass es bald eingemottet wurde. Zur gleichen Zeit und ebenfalls im Guggenheim forschte auch Oskar Fischinger zusammen mit Alexander Laszlo an der Live-Collage von Filmbildern. Die Chopin-nahe Musik Laslos zusammen mit der neuen Bildsprache Fischingers wurde binnen kurzer Zeit weltberühmt und verhalf Fischinger zum Durchbruch. Jedoch auch dieses Gerät war nicht für eine längere Zeit einsatzfähig und bestach vor allem durch permanente Ausfälle der Mechanik und dem Verlust der Synchronität, die wichtig für diese Aufführungen war.
Bis auf weitere missglückte Versuche von Charles Dockum war die Live-Collage von Filmsequenzen bis etwa 1978 kein aktuelles Thema. Dies sollte sich aber mit der Einführung der ersten Videomischer schlagartig ändern. Dem Videokalos Image Processor kann man als einen der ersten klassischen Videomischer bezeichnen. Er ermöglichte das simple Mixen von acht unterschiedlichen Videoquellen, mit verschiedenen Wischmustern. Die Quellen können eingefärbt und gekeyed (ausgeschnitten werden). Das von Peter Donebauer und Richard Monkhouse gestaltete Gerät hat eine qualitativ hochwertige Ausgabe und war sowohl für professionelle Videostudios als auch für unabhängige Künstler konzipiert. Laut Donebauer war das Design des Gerätes für den Einsatz als Instrument bestimmt. Alle Funktionalität liegt sofort verfügbar auf einigen hochqualitativen Reglern. Viele nachfolgende Videomischer sowohl für den Kunstmarkt als auch für Videostudios leiten viele Funktionsweisen von diesem Design ab. Das Gerät ermöglichte Künstlern wie Peter Rubin auch in kleinem Rahmen die Collage für Narrative Live Experimente einzusetzen.
Neben allen analogen Entwicklungen wurden auch schon sehr früh die Computer "missbraucht", um die Synästhethische Kunst zu erforschen. Der GROOVE (Generating Realtime Operations On Voltage-controlled Equipment, Bell Telephone Laboratories, Murray Hill, New Jersey) war ein Analog-Digitales Musik Performance System, welches in den späten 1960er Jahren auf der Grundlage von 24 bit DDP-224 Computer entwickelt wurde. Laurie Spiegel transformierte dieses System dann Anfang der 1970er Jahre in ein visuelles Kompositionssystem. Ihre Idee war es, die simplen, analogen Farb-Form-Orgeln mit ihren vordefinierten Bildern und die Einzelbild-Aufzeichnungen, die sie bei einigen Filmemachern, die sich mit der Synthese aus Musik und Bild beschäftigten, gesehen hatte, mit einem Echtzeitsystem zu ersetzen. Dazu programmierte sie einen Computer ähnlich dem Groove System so um, dass statt Musik Bilder entstanden. Ihr Programm beruhte zunächst auf einem Zeichenprogramm, welches mit einigen sehr analogen Eingabemöglichkeiten, wie einem Pedal, 10x12 Drehregler, einem dreidimensionalen Joystick und einigen Knöpfen bedient wurde. Dieses Programm erweiterte sie, sodass die Schritte, um ein Bild herzustellen, aufgezeichnet wurden. Dieses System taufte Frau Spiegel zunächst RTV (Real Time Video). Nach einigem Probieren etwas ernüchtert fing sie an, ihre Eingaben komplexeren Algorithmen zuzuordnen. Der VAmpire (the Video And Music Playing Interactive Realtime Experiment) war geboren. Mit dieser Software war es ihr möglich, alles in einer zeitlichen Abfolge aufzunehmen, danach wieder abzuspielen und weiter zu verändern. Es war ein System, mit dem man abstrakte Formen erstellen und wie ein Jazzlied neu interpretieren konnte. Dadurch, dass die visuelle Version des Groove in einem anderen Raum stand, war es praktisch nicht möglich, Ton und Bild gleichzeitig zu verändern. Es wäre jedoch theoretisch möglich gewesen - wie Sie selbst sagt. Auf jeden Fall war dies die erste "VJ" Software per Definition. Mit der Homecomputer Revolution der 80er Jahre begannen auch immer mehr Künstler, diese Technologie für ihre Forschung zu benutzen. Auch John Whitney taucht in diesem Kontext wieder auf. Er entwickelte auf dem Apple II Computer (aber auch Vorgängern in den späten 1970er Jahren) die ersten hausgemachten, generativen Programme. Die Software "Columna" war sein erstes Werk und versuchte, die Theorie der "digitalen Harmonie" von Bild und Ton zu untermauern. Mit dem "MTV-Schock" kehrte im Verlauf der 1980er Jahre Ruhe in die Live Video Szene ein. Erst mit dem Aufkommen der elektronischen Club Szene Anfang der 1990er und den immer schneller und mächtiger werdenden Computern wurde das Interesse an der vergessenen Kunst erneut erweckt. Jedoch zeichnete sich hier erstmals eine deutliche Differenzierung ab. Auf der einen Seite standen und stehen bis heute die generativen Arbeiten, die auf Grundlage von mathematischen Formeln und Tonfrequenzen automatisch oder mit geringer Benutzerinteraktion Bilder zaubern. Diese Art der Software geht einher mit den direkten Videosynthesizern und den Farbscheiben des Clavilux. Diese Art der Programme wird heute oft in den visuellen Plug-Ins der Musikabspielprogramme benutzt und kommt heutzutage in allen vorstellbaren Farb/Form/Rhythmik-Kombinationen vor.
Die für ein Live Cinema viel interessantere Entwicklung ist aber die Fusion aller anderen analogen Geräte in ein all umfassendes "Video-Collagen-Programm". Das Verändern des Bildes selbst, das Überlagern und Collagieren verschiedener Bildquellen und das Synchronisieren mit Ton erwuchs spätestens mit Programmen wie VDMX 1, Videodelic, Arkaos oder der Programmierumgebung Max/MSP Nato 0.55++, die es einem jedem Interessierten ermöglichte, mit wenigen Mitteln sein eigenes Programm zusammenzubauen, zum neuen heiligen Gral der Bild-Ton-Synthese.
Die Suche nach dem perfekten Interface
Seit der Jahrtausendwende entwickelte sich die Vielfalt der VJ-Instrumente explosionsartig. Wie auch die Pioniere vor ihnen sind es vor allem die VJs selbst, die versuchen, immer neue Software zu schreiben, um ihre Visionen direkter verwirklichen zu können. Bis auf wenige Ausnahmen stammt alle auf dem Markt verfügbare VJ-Software ursprünglich von Künstlern, die in diesem Feld tätig waren. Für ein Live Cinema sind sicherlich vor allem die Programme von Bedeutung, die das Mischen von verschiedenen Bewegtbildsequenzen erlauben - autogenerative Programme erlauben nicht das Erstellen von Narrationen. Die Diversität der vorhandenen "Mixprogramme" zeichnet sich erstaunlicherweise nicht unbedingt im Look ab, den diese generieren. Alle haben eine mehr oder weniger ausgereifte Audioanalyse und die Möglichkeit, extern meist durch midifähige Geräte gesteuert zu werden. Bild- und Blendeffekte sind weitgehend standardisiert und teilweise durch offene Plug-In Architekturen wie Core Image und Freeframe sogar austauschbar. Der eigentliche Unterschied tritt vor allem beim Interface zu Tage. Während Bildeffekte und die Möglichkeiten der Collage und Montage sich auffallend ähneln, ist es vor allem der Zugriff auf die Rohbilder und Loops, der die Programme voneinander absetzt.
Ursprung der VJ-Software-Explosion sind Programme, die auf der einen Seite direkt zum live Spielen, Mixen und Komponieren von Bildsequenzen genutzt werden können, aber auch eine Entwicklungsumgebung für individuelle Interfaces und Funktionen bieten. MaxMSP, PD, Isadora oder Quartz Composer sind hier die prominentesten Beispiele. Mit Hilfe von Flowdiagrammen steckt man verschiedene Bild-, Ton-, Video- und Mathematikoperatoren zusammen, die dann sofort das eingegebene Video verändern. Diese Art der Programme orientiert sich stark an den "Do it yourself"-Methoden der Hardware-Videoexperimente - hier oder dort ein Kabel anlöten und schauen was passiert. Für eine strukturierte Live Cinema Performance sind sie direkt sicherlich nicht unbedingt geeignet. Sie bieten zwar fast uneingeschränkte Kontrolle über die Collage und Musikanalyse, aber schon für eine Montage mit mehreren Szenen hintereinander wird das Strippenziehen und die Auswahl des richtigen Clips unübersichtlich und zu langsam. Deshalb werden diese Programme vor allem als Programmierumgebung für andere VJ Programme benutzt (z.B. GridPro, ESX, VDMXX, Quartionian), aber auch bei festen Installationen oder Experimentalvideo-Events.
Eine zweite Gruppe von Programmen ist ähnlich Collagen basiert, jedoch wesentlich einfacher zu bedienen, damit aber auch eingeschränkter was die Wahl der Effektmöglichkeiten angeht. Das kunstvolle Überblenden möglichst vieler Ebenen und diese durch Zeit und Effektmanipulation rhythmisch an die Musik anzupassen, ist Programmen wie z.B. Modul8 zu eigen. Die Collage steht immer im Mittelpunkt was bedeutet, dass die Auswahl des Bildes selbst und jegliche strukturierte Montage in den Hintergrund tritt. Den größten Raum des Bildschirms füllt die Ebenenansicht, dicht gefolgt von den Effektmöglichkeiten, der Soundanalyse und den Blendoptionen. Wo diese Programme wunderschöne rhythmische Bildcollagen generieren, fehlt bei ihnen der direkte, geordnete Zugriff auf die Loops. Sie bieten weder eine Übersicht noch eine Möglichkeit der Vorstrukturierung, was sie für einen Live Cinema Kontext unbrauchbar macht.
Ganz im Gegensatz dazu stehen Programme wie GridPro, Resolume, VJamm und Pilgrim. Hier steht der Bildclip im Mittelpunkt, oder besser gesagt eine Reihe von Vorschaubildern, die dann auch mindestens die Hälfte des Bildschirms bevölkern. Diese Programme sind vor allem an VJs gerichtet, die schnell auf eine ihnen unbekannte Bibliothek an Bildern zugreifen müssen. Collagen beschränken sich hier zumeist auf zwei bis maximal drei Ebenen, Montage ist in gewissem Rahmen auch strukturiert möglich. Diese Programme zeichnen sich vor allem durch ihre schnelle Erlernbarkeit aus und werden vor allem von VJ-Anfängern bevorzugt. Ihr größter Vorteil ist jedoch auch gleichzeitig ihr ein Problem. Das Anzeigen der unzähligen Vorschaubilder stiftet bei einer Vielzahl an Clips große Verwirrung und lenkt vom eigentlichen Hauptbild ab. Eine Ordnung ist nur mit großen Gruppen herzustellen, zwischen denen meist auch nur komplett gewechselt werden kann. Eine strukturelle Verbindung der einzelnen Clips kann man nicht vorbereiten und auch die Anzahl der gleichzeitig zur Verfügung stehenden Clips ist, bedingt durch die Bildschirmgröße, sehr begrenzt. Während sie schon eine wesentlich bessere Grundlage für ein Live Cinema bieten, ist der auf dieser Datenbank basierte Ansatz durch die fehlende Strukturierung nur schwierig zu gebrauchen. Die Ablenkung durch die vielen Vorschaubilder vermindert auch die Konzentration, die nötig wäre, mit einem solchen Programm eine schlüssige Narration herzustellen. Durch die Direktheit in der Auswahl der Clips durch Mausklick, Tastenkombination oder Midisignal kommen sie der nächsten Gruppe von Programmen bereits sehr nahe.
Diese Programme versuchen der Bedienung die Direktheit und Einfachheit eines Instruments zu verleihen. Meist wird zur Verdeutlichung ein virtuelles Keyboard eingeblendet, wie zum Beispiel bei Arkaos. Anstelle visueller Repräsentationen der Bilder legt sich der Künstler diese wie Noten auf die Tasten des Keyboards und spielt sie entweder durch Betätigen einer Taste der Computertastatur oder durch ein angeschlossenes Midi-Keyboard. Diese Versionen der VJ- Programme ist sowohl für die Collage (durch Drücken zweier Tasten gleichzeitig), als auch durch die Montage (drücken der Tasten nacheinander) gekennzeichnet. Die begrenzte, tonale Skala limitiert aber auch hier die Effektivität, und die theoretische Grundlage der Zuordnung von bestimmten Tönen zu bestimmten Bildern steht auch auf wackeligen Beinen. Bedingt durch die geringe Anzahl an gleichzeitig verfügbaren Clips und der fehlenden Vorstrukturierung ist eine Narration auch hier nur in sehr begrenztem Maße möglich. Diese Programme bestechen vor allem dadurch, dass sie in ihrer Funktionsweise einem gespielten Instrument sehr nahe kommen und damit wenig zwischen Künstler und seiner Arbeit steht.
Bei der letzte Hauptgruppe orientiert sich das Interface Design ebenfalls an realer Hardware, diesmal jedoch kommt die Vorlage nicht aus den Gefilden der Musiker. Das Mischen von Videos, wie es in einem professionellen Videostudio vor Einführung des Computerschnitts Gang und Gebe war, ist bei dieser Programmspezies die Grundlage. Wie in einem Videostudio gibt es Vorschaumonitor und Masterausgang. Der Mischer ist das zentrale Element und die virtuellen Videobänder stehen rechts und links ordentlich beschriftet in den "Regalen". Die Vorteile, die Programme wie VDMX bieten, sind zahlreich. Zum einen erlaubt die immer präsente Vorschau eine Vorbereitung des am nächsten zu spielenden Clips. Das trägt dazu bei, dass der Künstler die Loops wesentlich besser vorbereitet auf die große Leinwand wirft und damit weniger Parameter dem Zufall überlassen werden, wie es bei den anderen Interfaces oft der Fall ist. Der Mixer-zentrierte Aufbau erlaubt es ebenfalls, sowohl zwei bis drei Ebenen-Collagen zu erstellen, aber auch die Clips hart zu montieren. Des Weiteren lenkt dieser Aufbau wenig vom eigentlichen Bild ab, Effekte sind deutlich dem gerade spielenden Clip zuzuordnen, Vorschau und Ausgabe nehmen den größten Platz ein. Auch kann eine gewisse Struktur durch intelligente Namensgebung (z.B. A1_Frau_an_Haus_vorbei.mov, A2_Frau_durch_Haus.mov) erreicht werden, die das Abspielen von strukturierten Narrationen erlauben würde. Dieser "Workaround" ist aber im Live Cinema Kontext bei weitem nicht befriedigend. Der Künstler hat immer noch alle Hände voll zu tun, Beat und Gefühl von Bild und Ton zu synchronisieren, die richtigen Effekte auszuwählen, die Bilder in ihrer Geschwindigkeit anzupassen, Farben zu verändern etc. Die Konzentration um eine komplexe Narration mit verschiedenen Handlungssträngen und nichtlinearen Optionen zu überblicken, dürfte auch hier nicht ausreichend vorhanden sein.
Während man bei der VJ Software vergeblich nach einer Interfacelösung für adaptive, zeitlich zusammenhängende Kompositionen sucht, ist es die meist genutzte Audiosoftware, die einen Einblick geben kann, wie ein solches strukturelles Problem eventuell gelöst werden kann. Ableton Live ist dabei eine perfekte Symbiose aus Sequenzer, Mixer und Schnittprogramm. Sequentiell und zeitlich linear werden hier Module der Musik vor einem Auftritt vorstrukturiert. Live kann dann zwischen einzelnen Modulen gewählt werden, die Montage erfolgt immer taktsynchron. Kontextbezogen können Effekte für gerade gespielte Module verändert werden und verschiedene Musikebenen können zu einer Collage verbunden werden. Der Künstler hat immer einen Überblick über Zeit und die Relationen der einzelnen Module zueinander. Durch die Vorstrukturierung kann er sich also voll und ganz um die Details kümmern, um die es bei der jeweiligen Live-Konzertsituation geht, ohne Angst haben zu müssen, den gesamten Überblick zu verlieren oder darauf angewiesen sein, dass König Zufall ihm gut gesonnen ist.
Geschichtenerzähler trifft Rockgitarre
Im Buch "User and Task Analyses for Interface Design" beschreiben die Autoren Hackos und Redish, wie ein gut designtes Interface aussehen sollte: "To be usable, an interface must let the people who use the product (users), working in their own physical, social, and cultural environments, accomplish their goals and tasks effectively and efficiently. To be usable, an interface must also be percieved as usable by those who must use it or choose to use it. They must be pleased, made comfortable, even amazed by how effictively their goals are supported by your design. In the best case, they will be oblivious to the design — it simply works so well that they don´t notice it. The truly usable interface is transparent to the work the user is trying to accomplish.
Feststellen lässt sich, dass eine perfekte Live Cinema Software zur Zeit auf dem freien Markt nicht vorhanden ist. Die verfügbaren Live-Programme sind allesamt nicht geeignet, einer strukturierten Narration über längere Zeit zu folgen, die Montage und Collage unter Kontrolle zu haben, das Endergebnis nicht der Beliebigkeit auszusetzen und dem Künstler eine zwanglose Performance zu ermöglichen, die die Rhythmik und das Gefühl mit der Musik in Einklang bringt. Auch wenn einige der Programme einige dieser Funktionen recht gut erfüllen, so ist eine optimale Kombination aller Bereiche erforderlich, um ein eindrucksvolles Live Cinema Stück aufzuführen.
"Live Cinema: Designing an Instrument for Cinema Editing as a Live Performance" M.Lew: "The screen real estate is obfuscated by too many one-use buttons and information not relevant to the editing task. the only elements really needed are the images and a way to cut and paste them. Important elements should be visually emphasized. "
Die einfachste Aufgabe eines solchen Programms, aber auch eine der bedeutungsvolleren, ist die rhythmische Synchronisation mit der Musik. Über Beatcounter, der entweder manuell durch "tapping" einer Taste oder extern über ein Midisignal eingestellt wird, erhält man ein in vier Takte geteiltes Beatsignal. Eine andere Möglichkeit die man fast in allen modernen VJ-Programmen findet, ist die automatische Soundanalyse. Dabei werden verschiedene Frequenzbereiche der Musik "überwacht". Schlägt ein Pegel über einen gewissen - meist benutzereinstellbaren - Wert wird, wie beim Beatcounter auch, ein Beatsignal ausgegeben. Dieses Beatsignal kann nun für verschiedenste Effekte eingesetzt werden. So zur Manipulation der Zeit einer Bewegtbildsequenz. Es kann bei jedem Beat angehalten werden um dann beim nächsten weiterzuspielen, es kann zufällig bei jedem Beat eine andere Zeit angesprungen werden, der Clip kann von Beat zu Beat zwischen Vorwärts- und Rückwärtsbewegung wechseln oder die Sequenz kann bei jedem Beat wieder beim ersten Bild anfangen. Einige Programme bieten die Möglichkeit, die Zeit so zu verändern, dass ein Loop zum Beispiel immer in vier Beats passt.
Die Montage, der Schnitt, ist eine weitere Möglichkeit das Beatsignal zu benutzen. Dies ist eine Standardpraxis in so gut wie jedem Musikvideo und wird auch in modernen Kinofilmen immer häufiger zum stilistischen Element. Schnitt, Blende, Wipe oder Cut-Over werden immer genau zum Beatsignal ausgelöst - soweit die gängige VJ-Praxis. Das Bild wirkt bei schnellerer Musik jedoch sehr hektisch und das Hin- und Herschneiden zwischen nur zwei Beats wird schnell langweilig. Besser gelöst ist dies beim oben erwähnten Musik-Programm Ableton Live. Ein Schnitt vom aktuellen Loop zum nächsten ausgewählten erfolgt immer nur zum Hauptbeat (4. o. 8.). Zur Auswahl steht hier auch die Möglichkeit, diesen Schnitt nur einmalig in eine Richtung zu vollführen oder mehrfach hin und her zu wechseln oder in einer Serie hintereinander die Loops zu wechseln.
Übertragen auf eine bildbasierte Live Cinema Software und zusammengenommen mit dem Aspekt der Zeit/Beat-Abhängigkeit würde dies im optimalen Falle bedeuten, dass lineare Szenen in ihrer Zeit durch Sprünge und Stopp rhythmisiert werden (können) und Loops automatisch Taktlängen erhalten. Nur zu einem vollem Beat (Ende alter, Anfang neuer Takt) wird dann auf Anweisung des Künstlers die Szene oder der Loop geändert. Es kann dadurch sogar ohne großes menschliches Eingreifen eine Reihe von Szenen - eine Sequenz - automatisch an den Beat der Musik angepasst werden - der Künstler hätte dann den Kopf frei, um sich um Gefühle und Emotionen, die das Werk ausstrahlen, zu kümmern.
Das Beatsignal kann ebenso zum Ein- und Ausschalten von Effekten oder Umschalten zwischen Blendeffekten eingesetzt werden. Auch hier ist es wichtig, dass dies in kontrolliertem Rahmen passiert. Die Möglichkeit, ein solches Event einmalig auszuführen, oder zumindest in begrenzter Anzahl und mit der Musikstruktur (voller, halber Takt) in Einklang zu bringen, sollte hierfür unbedingt gegeben sein.
Eine weitere Möglichkeit, das Audiosignal zu verwenden, ist nicht ein Event - also ein Beatsignal - herauszufiltern, sondern die absolute Lautstärke eines bestimmten Frequenzspektrums zur Steuerung einzusetzen. Hier wird das Bild ebenfalls rhythmisch an die Musik angepasst. Dabei kann nicht der Beat gezählt werden, um das nervöse Zucken zu unterbinden. Eine bessere Möglichkeit ist das Filtern des Spektrums. Damit werden Durchschnittswerte aus Zeitspannen benutzt, um die Wertfolge in Ruhe zu bekommen. Diese Werte können dann zur Steuerung von Blendwerten einzelner Ebenen in einer Collage, Parameter der Filter oder auch der Geschwindigkeit des Clips benutzt werden.
Wie im zweiten Kapitel bereits festgestellt wurde, spielt die Collage eine wichtige Rolle. Typographie, die einen Teil der Stummheit des Live Cinema Films aufheben kann, rhythmische Elemente oder Formen, die Gefühl und Rhythmik bedienen, sind in der Live Cinema Komposition ausschlaggebend. Dabei ist zu unterscheiden zwischen der vollflächigen und der selektiven Collage. Bei heutigen VJ-Programmen überwiegt die Möglichkeit der vollflächigen Collage - oder auch Blendenmodus genannt. Dabei wird der gesamte Inhalt eines Bildes mit dem gesamten Inhalt eines zweiten durch unterschiedlichste mathematische Funktionen und in benutzerdefinierten Verhältnissen vermischt (add, sub, diss, mult etc). Diese Funktion ist auch oft die gleiche, die über bestimmte Zeit eine Blende - also ein der Montage zugehöriges Element - erzeugt. Die selektive Collage funktioniert mit Keys oder Alpha Kanälen. Hierbei werden Teile des Bildes durch Farben, Helligkeitswerte oder einen speziellen Kanal, der in das Bild eingebaut ist, isoliert und entweder auch mit den Blendmodi über das Untergrundbild gelegt oder ersetzen dieses an den entsprechenden Stellen einfach komplett.
Durch die spontane Präsentation in einem normalen VJ-Set ergibt sich bei beiden Varianten eine weitgehend unkontrollierbare Situation, in der das collagierte Bild oft unharmonisch wirkt, zu einem Pixelbrei zusammenfällt, in Bewegung oder Form entgegengesetzte Objekte miteinander konkurrieren, Farbharmonien nicht übereinstimmen oder Farben in gemixten Zustand oft ein hässliches Braungrau ergeben. Die Probleme sind so unzählig, dass es fast schon ein glücklicher Umstand ist, wenn zwei Clips oder Loops miteinander funktionieren. In einem vorstrukturierten Live Cinema lässt sich aber im Vorfeld die Collage ähnlich des Compositing im Film zusammenfügen. Einzelne Szenen und Loops werden bereits einander zugeordnet und mit Effekten und Blendmodi versehen. Während der Live Performance werden dann hier nur noch einzelne Parameter (Effektparameter, oder Blendstärke) verändert. Das erlaubt dem Aufführenden zwar die Flexibilität, den Rhythmus der Musik wiederzugeben, ist aber nicht mehr unvorhersehbar. Die verlorene Flexibilität, um auch ein bestimmtes Gefühl nachzuempfinden, kann zum Beispiel dadurch gelöst werden, dass man gleich eine andere Collagengruppe für diesen Moment auswählt. Eine andere Möglichkeit besteht darin, dass das Programm es zulässt, eine Grundebene - die Narrativebene - zu definieren und dann eine Auswahlmöglichkeit verschiedener, vorher definierter Ebenen, die darüber passen - Rhythmik Ebenen -, anzubieten.
Ähnlich verhält es sich auch mit den das Bild verändernden Effekten. Die Effekte, die in heutigen VJ-Programmen angeboten werden, stehen in Anzahl und Umfang und teilweise Qualität den Pendants aus den professionellen Compositing Programmen in nichts nach. Doch wie auch in der klassischen Postproduktion sind nicht alle Effekte bei allen Szenen immer einsetzbar. Jedoch bewirken verschiedene Effekte meist eine Bildveränderung, die das Gefühl der Szene beeinflusst (z.B. ein Sternfilter auf Highlights, oder das Bild durch Farbvariation ändern, oder ein starker Motionblur, Kontrast etc etc.). Also wäre es auch hier sehr angebracht, bei der Vorbereitung den Szenen eine Vorauswahl zuzuordnen, aus denen man dann während des Auftritts wählen kann. Dies sollte sowohl für einzelnen Ebenen einer Collage als auch für eine Collage im Ganzen möglich sein.
Überaus wichtig ist des Weiteren die strukturelle Vorbereitung und der Überblick über die narrative Struktur während der Performance. Dieses Element ist in VJ-Programmen im Moment nirgendwo auch nur ansatzweise zu finden. Jedoch kann hier ein Bezug zum Film und dem Filmschnitt hergestellt werden. Hier ist die Zeitleiste ein Element, welches in jedem Programm, das sich mit dem Montieren von mehreren Szenen in zeitlich linearer Abfolge beschäftigt, aufzufinden. Lineare Abfolge ist aber für ein Live Cinema nicht unbedingt angebracht. Eine Möglichkeit der Darstellung von nichtlinearen Zeitabläufen ist sicherlich das Flussdiagramm, wie es auch schon beim Hirarchical Task Network zu sehen ist. Hier kann man Verzweigungen und deren Relationen aufzeigen und dynamisch den Verlauf ändern. Jedoch ist im Detail diese Art der Darstellung wenig geeignet, um eine generelle, überschaubare Grundstruktur anzulegen oder im Detail den Zeitfluss zu erkennen. Eine gewisse Mischform aus beiden - also ein in eine Zeitleiste eingebettetes minimales Flussdiagramm - ist ein Ansatz, der für eine Live Cinema Aufführung geeignet sein könnte. Dabei sollten die Zeitmaße der Leiste sich an den Beats der Musik orientieren - also kein direktes Zeitmaß geben, bzw. eines, das sich mit der Geschwindigkeit der Musik dynamisch verändert. Handlungsstränge können nun parallel laufen (z.B. verschiedene Akteure) und im im Detail kann man noch überlegen welche Handlungen und Szenen man direkt spielt (Zigaretten holen oder auf Klo gehen, um die Stellenanzeige zu finden). (Zeitleistenentwurf)
Dies sind die Grundfunktionen, die ein jedes auf Live Cinema zielendes Programm in der einen oder anderen Weise anbieten sollte. Andere Funktionen die erwähnt werden sollten, jedoch eigentlich als selbstverständlich gelten, sind die Ansteuerung durch Midigeräte und die Konfiguration der externen Projektionstechnik (Aspekt Ratio, Auflösung, Positionierung).
"User and Task Analyses for Interface Design":
Usable interfaces have certain characteristics in common:
- They reflect the workflows that are familiar or comfortable.
- They support the users learning styles.
- They are compatible in the users working environment.
- They encompass a design concept (metaphor or idion) that is familiar to the users.
- They have a consistency of presentation (layout, icons, interactions) that makes them appear reloable and easy to learn.
- They use language and illustrations that are familiar to the users or easy to learn.
Das Interface sollte sich demnach an heutige VJ-Programme und traditionelle Schnitt- und Compositing-Programme anlehnen. Es sollte die vorhande Symbolsprache aus Film und Video und elektronischer Live Musik benutzen und darauf eingestellt sein, dass ein Live Cinema sowohl durch Probieren als auch durch minutiöse Vorplanung entsteht. Wobei Vorplanung und Live Auftritt in zwei diametral entgegengesetzten Umgebungen stattfindet. Während die Vorbereitung ohne großen Zeitdruck sitzend am Arbeitsplatz entsteht, ist die Live Performance geprägt durch Entscheidungen, die in einem Sekundenbruchteil gefällt werden müssen. Das Ambiente ist Laut und der Aufführende sollte normalerweise stehen. Dies erfordert entweder ein Interface, welches vor allem in der Live Umgebung getestet werden sollte, da dies die kritischere Situation darstellt, oder sogar in zwei unterschiedlichen Interfaces, die für die jeweilige Situation angebracht sind. Auf jeden Fall muss das Live Interface räumlich konsistent sein und so erlernt werden können, dass man es fast im blinden Zustand bedienen können müsste.
Zitate die wieder nicht benutzt wurden:
"The problem familiar to electronic musicians resides in using the laptop as an instrument. During our shows, most nonspecialist audience memebers assumed video was prerecorded and did not understand the performer's role on stage. We concluded the interface needs to be transparent, because the audience wants to see the process." "Live Cinema: Designing an Instrument for Cinema Editing as a Live Performance." M. Lew