Rééclairage par génération de cartes de normales en composition vidéo numérique
Sommaire
Dans les productions cinématographiques, les effets d'éclairage
sont une grande préoccupation. En composition vidéo
numérique, lorsque des séquences sont combinées
pour créer des scènes inédites, les différences
d'éclairage entre ces séquences sont problématiques
et trahissent l'effet de réalisme voulu. Traditionnellement,
des outils corrigent les couleurs afin de remettre les séquences
dans un même espace lumineux. Basés sur une mise en correspondance
des couleurs, ces outils sont limités par le manque d'informations
à propos de la géométrie et des fonctions de
réflectance de la scène, ce qui donne rarement des
résultats
convaincants lorsque les séquences d'origine sont incompatibles.
Récemment, l'extraction de certaines informations manquantes a
été rendue possible grâce à des
systèmes complexes de
caméras et de projecteurs lors du tournage, permettant de simuler
un éclairage arbitraire par rendu. Puisque les coûts
associés
à ces technologies sont présentement trop élevés
pour l'industrie, nous proposons un outil intermédiaire qui cadre
bien dans le contexte traditionnel de post-production. Notre outil de
génération de cartes de normales permet de retrouver
automatiquement et en temps réel une géométrie
courbe "plausible" des objets d'avant-plan filmés devant
l'écran bleu, en exploitant la silhouette du matte et le
dégradé d'illumination sur ces objets.
Afin de corriger le résultat final, une interface interactive
intuitive permet d'établir une pondération entre les deux
stratégies de reconstruction, ainsi que d'appliquer des
transformations sur les séquences originales et les cartes de
normales. Après avoir placé des lumières
virtuelles dans un
espace tridimensionnel, les cartes de normales sont directement
utilisées par le matériel graphique pour refaire le rendu.
Dans une composition, le résultat améliore l'effet
d'immersion entre les séquences.
Abstract
Lighting effects are a great concern in cinematographic productions.
In digital video compositing, when many sequences are combined in order
to create new scenes, lighting discrepancies are problematic and betray
the desired realistic effect of a composite. Traditionally, color
correction tools are used to match the lighting space of sequences.
Based on color matching, these tools are limited by the lack of
information about the objects geometry and reflectance functions,
achieving unconvincing results when the original sequences are incompatible.
Recently, extracting some of the missing information was made possible
by using complex camera and projector systems during the filming,
allowing to render afterwards the sequence with arbitrary lighting.
Since the cost of this technology is currently too high for the industry,
we propose an intermediate tool which is consistent with the current
post-production pipeline. Our automatic normal map generation tool enables
the reconstruction of a "plausible" curved geometry of the foreground
objects while using bluescreen footage. Shading and silhouettes of the matte
are used for our real-time reconstruction. To correct the final result,
a user interface allows to adjust simple parameters : a weighting factor
between the two reconstruction schemes and transformations on the original
sequences and normal maps. Thereafter, once virtual lights are set in a
3D space, normal maps are directly used by the graphics hardware to render
with the new illumination. In a composite, the result will help to improve
the immersion effect between the sequences.
Mots-clés
Composition vidéo numérique, rééclairage
vidéo, carte de normales, reconstruction "plausible", reconstruction
par dégradé d'illumination, reconstruction à partir
d'un matte.
Online version
Available here in french (en français)
in Adobe PDF format (4.5 MB).
Results here
BibTeX
@MastersThesis{Bergeron:2006:MSC,
author = "Nicolas Bergeron",
title = "R\'e\'eclairage par g\'en\'eration de cartes de normales en composition vid\'eo num\'erique",
month = apr,
year = 2006,
type = "M.Sc. Thesis",
school = "D{\'e}partement d'Informatique et Recherche
Op{\'e}rationnelle, Universit{\'e} de Montr{\'e}al",
}
