R.E.News future Technology-Revolutionary Neural Network Bringing 3D Life to Ancient Reliefs

05/11/24-FR-English-NL-footer

Un réseau neuronal révolutionnaire qui donne vie en 3D à des reliefs anciens

Dans un monde où les sites patrimoniaux se dégradent de jour en jour, un réseau neuronal pionnier offre un outil puissant pour redonner aux reliques culturelles leur gloire d'antan, virtuellement, du moins.

Développé par une équipe internationale dirigée par le professeur Satoshi Tanaka de l'université Ritsumeikan, au Japon, et le Dr Jiao Pan de l'université des sciences et technologies de Pékin, ce modèle reconstitue des images numériques 3D d'objets en relief à partir de photographies historiques.

Grâce à cette innovation, des chefs-d'œuvre anciens, comme les sculptures cachées du temple indonésien de Borobudur, peuvent désormais être restaurés numériquement et expérimentés virtuellement. Cette avancée promet de transformer la préservation du patrimoine numérique, en offrant aux chercheurs et au public un accès sans précédent à des œuvres d'art perdues dans le temps.

Les sculptures en relief, des œuvres d'art où des personnages sont surélevés sur un fond plat, servent de portail vers le passé, capturant souvent des récits historiques, religieux ou culturels. Présentes sur de nombreux sites patrimoniaux à travers le monde, ces sculptures sont confrontées à une érosion inévitable due aux forces naturelles, à la pollution et à l'activité humaine. Si certaines structures bénéficient de techniques modernes de numérisation 3D et de photogrammétrie qui permettent de capturer leur état actuel, leur restituer leur apparence d’avant les dommages est une tâche bien plus délicate. Les méthodes de restauration traditionnelles nécessitent des compétences et des connaissances méticuleuses, mais elles demandent également beaucoup de temps et de travail.

Ce qui distingue les sculptures en relief, c’est leur faible profondeur et leur conception orientée vers l’avant, ce qui signifie qu’une seule photographie peut souvent capturer suffisamment de données pour une reconstruction numérique. L’équipe du professeur Tanaka a tiré parti de cette caractéristique unique en créant un réseau neuronal capable de générer des images 3D très précises à partir de photographies d’archives prises avant que les reliefs ne soient endommagés ou obscurcis. Cette approche élimine le besoin d’une intervention manuelle importante, ce qui rend la préservation culturelle plus accessible et plus efficace.

Le nouveau réseau neuronal de l’équipe de recherche, présenté lors de la conférence ACM Multimedia 2024 en Australie, effectue trois tâches principales qui fonctionnent ensemble pour recréer des images 3D très détaillées : la segmentation sémantique, l’estimation de la profondeur et la détection des contours flous. Ces fonctionnalités permettent au modèle d’extraire des variations subtiles de profondeur qui seraient autrement manquées par les algorithmes conventionnels, obtenant ainsi des résultats qui étaient auparavant considérés comme inaccessibles.

Contrairement à l’estimation de profondeur traditionnelle, qui peine à gérer les valeurs de profondeur compressées souvent trouvées dans les images en relief, ce réseau neuronal utilise un détecteur de contours flous pour résoudre le problème. Ici, les contours ne sont pas simplement détectés comme des distinctions binaires, mais traités comme une tâche complexe de multi-classification qui capture les « contours flous », ou de légers changements de luminosité et de courbure. En se concentrant sur ces contours flous, le modèle peut mieux estimer la profondeur des caractéristiques telles que les visages et les décorations, éléments qui souffrent souvent le plus de la compression dans les images 2D standard.

Le professeur Tanaka explique : « Notre nouvelle méthode s’attaque à ce problème en améliorant l’estimation de la profondeur, en particulier le long des contours flous, en utilisant une nouvelle approche de détection des contours. » Cette détection améliorée permet un niveau de détail plus fin dans les reconstructions, en particulier dans les zones où les méthodes traditionnelles sont insuffisantes.

Pour affiner sa précision, le réseau intègre un module de correspondance des contours avec deux détecteurs de contours flous. Cette configuration compare les cartes de contours pour isoler et se concentrer sur les détails les plus complexes, permettant au réseau de reconstruire même les caractéristiques les plus nuancées des reliefs avec un degré de précision élevé. Le module améliore encore la précision grâce à une fonction de perte dynamique améliorée des contours, qui compile les données des trois tâches pour produire des images 3D plus claires et plus détaillées.
Donner vie aux reliques cachées de Borobudur

Le réseau neuronal a déjà démontré son potentiel sur l'un des sites culturels les plus importants au monde : le temple de Borobudur en Indonésie. Site classé au patrimoine mondial de l'UNESCO, les reliefs complexes de Borobudur ont été partiellement obscurcis lors des efforts de restauration de l'époque coloniale néerlandaise. Les murs recouvrant ces anciennes sculptures ont empêché les méthodes traditionnelles de capturer leur forme originale, laissant des générations d'historiens, d'archéologues et de visiteurs dans l'ignorance de ce qui se cachait en dessous.

À l'aide de vieilles photographies, l'équipe de Tanaka a réussi à reconstituer ces sculptures cachées. « Grâce à la visualisation par ordinateur et à la réalité virtuelle, nos recherches permettent désormais d’explorer virtuellement ces trésors invisibles », explique le professeur Tanaka. Les résultats signifient que, pour la première fois, les gens peuvent découvrir virtuellement des parties de Borobudur jusque-là inaccessibles au monde, ce qui témoigne de l’impact profond du réseau neuronal sur la conservation du patrimoine.

Avec cette technologie, les possibilités s’étendent bien au-delà de Borobudur. De l’amélioration des expériences dans les musées virtuels à la possibilité pour les archéologues d’examiner des artefacts à distance, le réseau neuronal offre un potentiel de transformation. Comme le souligne le professeur Tanaka, « notre technologie recèle un vaste potentiel pour la préservation et le partage du patrimoine culturel. Elle ouvre de nouvelles opportunités non seulement pour les archéologues, mais aussi pour des expériences virtuelles immersives grâce aux technologies de réalité virtuelle et de métavers, préservant ainsi le patrimoine mondial pour les générations futures. »

Pour le domaine de la préservation culturelle, ce développement ne pouvait pas tomber plus tôt. Les plateformes de réalité virtuelle (RV) et de métavers offrent des expériences interactives et immersives qui peuvent mettre le public mondial en contact étroit avec des artefacts sans risque de dégradation physique. Cela permet non seulement de garder vivante la mémoire des sites culturels, mais aussi d’élargir les possibilités éducatives, en donnant à toute personne disposant d’une connexion Internet la possibilité de découvrir le patrimoine mondial de première main.

Le professeur Satoshi Tanaka a mené une brillante carrière à l’université Ritsumeikan, avec une expertise couvrant l’infographie, la visualisation scientifique et les humanités numériques. Son travail a été largement reconnu, avec plus de 1 700 publications et plus de 100 000 citations. En tant que membre de la Ritsumeikan Advanced Research Academy, il continue de repousser les limites de la préservation numérique, en combinant une technologie de pointe avec une profonde appréciation de l’histoire culturelle.

Le Dr Jiao Pan, actuellement maître de conférences à l’université des sciences et technologies de Pékin, a mené une grande partie de ces recherches pendant ses études de doctorat sous la direction du professeur Tanaka. Son travail révolutionnaire sur la reconstruction 3D des sculptures cachées de Borobudur souligne son engagement à utiliser la technologie pour la préservation culturelle.
Implications plus larges et prochaines étapes

Les implications de cette recherche sont vastes, et les avancées futures impliqueront probablement des modèles encore plus raffinés capables de gérer divers types d’art en relief. En outre, l’équipe de recherche prévoit d’explorer des applications pour différents contextes culturels, en adaptant le réseau neuronal à des objets allant des anciennes tablettes de pierre aux délicates peintures murales. En continuant à affiner leur modèle, ils s’assurent qu’il reste polyvalent et adaptable à divers besoins de préservation.

Pour les musées et les organisations culturelles, cette technologie pourrait devenir un outil essentiel pour la sauvegarde et le partage de leurs collections. Elle pourrait leur permettre de créer des archives numériques qui capturent non seulement l’apparence mais aussi le contexte historique des objets, offrant ainsi une expérience de visualisation enrichie aux publics du monde entier.
Ouvrir une nouvelle ère de préservation du patrimoine

Ce réseau neuronal ne se limite pas à la préservation des reliques du passé, il s’agit d’ouvrir les portes à des expériences qui étaient auparavant inimaginables. Que ce soit à travers un casque de réalité virtuelle ou une exposition dans un musée, la possibilité d’observer l’art ancien sous forme numérique 3D apporte une toute nouvelle dimension à l’appréciation du patrimoine culturel.

Avec le travail du professeur Tanaka et du Dr Pan, il est clair que l’avenir de la préservation est autant une question d’innovation technologique que de respect de l’histoire.
NJC.© Info Professor Satoshi Tanaka  Ritsumeikan University

---------------------------------------------------------------------------------------------------------------

05/11/24-English

Revolutionary Neural Network Bringing 3D Life to Ancient Reliefs

In a world where heritage sites deteriorate by the day, a pioneering neural network offers a powerful tool to bring cultural relics back to their former glory—virtually, at least.

Developed by an international team led by Professor Satoshi Tanaka of Ritsumeikan University, Japan, and Dr. Jiao Pan of the University of Science and Technology Beijing, this model reconstructs 3D digital images of relief-type artefacts from historical photographs.

With this innovation, ancient masterpieces, like the hidden carvings of Indonesia’s Borobudur Temple, can now be restored digitally and experienced virtually. This breakthrough promises to transform digital heritage preservation, giving researchers and the public unprecedented access to artworks lost to time.

Relief carvings—artworks where figures are raised against a flat background—serve as a portal to the past, often capturing historical, religious, or cultural narratives. Found across numerous heritage sites globally, these carvings face inevitable erosion from natural forces, pollution, and human activity. While some structures benefit from modern 3D scanning and photogrammetry techniques that capture their present state, returning them to their pre-damage appearance is a far trickier feat. Traditional restoration methods require meticulous skill and knowledge, but they’re also time-consuming and labour-intensive.

What sets relief sculptures apart is their shallow depth and front-facing design, meaning a single photograph can often capture enough data for a digital reconstruction. Professor Tanaka’s team has taken advantage of this unique feature, creating a neural network capable of generating highly accurate 3D images using archival photographs from before the reliefs were damaged or obscured. This approach eliminates the need for extensive manual intervention, making cultural preservation more accessible and efficient.

The research team’s novel neural network, presented at the ACM Multimedia 2024 conference in Australia, performs three core tasks that work together to recreate highly detailed 3D images: semantic segmentation, depth estimation, and soft-edge detection. These functionalities enable the model to extract subtle depth variations that would otherwise be missed by conventional algorithms, achieving results that were previously considered unattainable.

Unlike traditional depth estimation, which struggles with the compressed depth values often found in relief images, this neural network employs a soft-edge detector to tackle the problem. Here, edges aren’t simply detected as binary distinctions but treated as a complex multi-classification task that captures “soft edges,” or slight changes in brightness and curvature. By focusing on these soft edges, the model can better estimate the depth of features such as faces and decorations—elements that often suffer the most from compression in standard 2D images.

Prof. Tanaka explains, “Our new method tackles this by enhancing depth estimation, particularly along soft edges, using a novel edge-detection approach.” This enhanced detection allows for a finer level of detail in the reconstructions, particularly in areas where traditional methods fall short.

To refine its accuracy, the network incorporates an edge-matching module with two soft-edge detectors. This setup compares edge maps to isolate and focus on the most intricate details, allowing the network to reconstruct even the most nuanced features of reliefs with a high degree of precision. The module further enhances accuracy with a dynamic edge-enhanced loss function, which compiles data from all three tasks to produce clearer, more detailed 3D images.
Bringing Borobudur’s Hidden Relics to Life

The neural network has already demonstrated its potential on one of the world’s most significant cultural sites: the Borobudur Temple in Indonesia. A UNESCO World Heritage Site, Borobudur’s intricate reliefs were partially obscured during restoration efforts in the Dutch colonial era. The walls covering these ancient carvings prevented traditional methods from capturing their original form, leaving generations of historians, archaeologists, and visitors unaware of what lay hidden beneath.

Using old photographs, Tanaka’s team successfully reconstructed these hidden carvings. “Through computer visualization and virtual reality, our research now allows virtual exploration of these unseen treasures,” Prof. Tanaka says. The results mean that, for the first time, people can virtually experience parts of Borobudur previously locked away from the world, a testament to the neural network’s profound impact on heritage conservation.

Looking to the Future: Expanding Possibilities in Heritage Preservation

With this technology, the possibilities extend far beyond Borobudur. From enhancing virtual museum experiences to enabling archaeologists to examine artifacts remotely, the neural network offers transformative potential. As Prof. Tanaka notes, “Our technology holds vast potential for preserving and sharing cultural heritage. It opens new opportunities not only for archaeologists but also for immersive virtual experiences through VR and metaverse technologies, preserving global heritage for future generations.”

For the field of cultural preservation, this development couldn’t be timelier. Virtual reality (VR) and metaverse platforms provide interactive, immersive experiences that can bring global audiences into close contact with artefacts without the risk of physical degradation. This not only keeps the memory of cultural sites alive but also expands educational possibilities, giving anyone with an internet connection a chance to experience global heritage first-hand.
Champions of Digital Humanities

Professor Satoshi Tanaka has a distinguished career at Ritsumeikan University, with expertise spanning computer graphics, scientific visualisation, and digital humanities. His work has been widely recognised, with over 1,700 publications and more than 100,000 citations. As a fellow at the Ritsumeikan Advanced Research Academy, he continues to push the boundaries of digital preservation, combining cutting-edge technology with a deep appreciation for cultural history.

Dr. Jiao Pan, currently a lecturer at the University of Science and Technology Beijing, conducted much of this research during her doctoral studies under Prof. Tanaka’s guidance. Her groundbreaking work on 3D reconstruction of Borobudur’s hidden carvings highlights her commitment to using technology for cultural preservation.
Broader Implications and Next Steps

The implications of this research are extensive, with future advancements likely to involve even more refined models capable of handling diverse types of relief art. Additionally, the research team plans to explore applications for different cultural contexts, adapting the neural network for artefacts ranging from ancient stone tablets to delicate wall paintings. By continuing to refine their model, they’re ensuring it remains versatile and adaptable for various preservation needs.

For museums and cultural organisations, this technology could become an essential tool for safeguarding and sharing their collections. It could enable them to create digital archives that capture not only the appearance but also the historical context of artefacts, offering an enriched viewing experience for audiences worldwide.
Unlocking a New Era of Heritage Preservation

This neural network isn’t just about preserving relics of the past—it’s about opening doors to experiences that were previously unimaginable. Whether through a VR headset or a museum exhibit, the chance to witness ancient artistry in digital 3D form brings a whole new dimension to the appreciation of cultural heritage.

With the work of Prof. Tanaka and Dr. Pan, it’s clear that the future of preservation is as much about technological innovation as it is about respect for history.
NJC.© Info Professor Satoshi Tanaka  Ritsumeikan University

--------------------------------------------------------------------------------------------------------------------

05/11/24-NL

Revolutionair neuraal netwerk brengt 3D-leven in oude reliëfs

In een wereld waarin erfgoedlocaties met de dag achteruitgaan, biedt een baanbrekend neuraal netwerk een krachtig hulpmiddel om culturele relikwieën terug te brengen naar hun oude glorie, virtueel althans.

Dit model is ontwikkeld door een internationaal team onder leiding van professor Satoshi Tanaka van de Ritsumeikan University in Japan en dr. Jiao Pan van de University of Science and Technology in Beijing en reconstrueert 3D-digitale afbeeldingen van reliëfachtige artefacten uit historische foto's.

Met deze innovatie kunnen oude meesterwerken, zoals de verborgen houtsnijwerken van de Borobudur-tempel in Indonesië, nu digitaal worden gerestaureerd en virtueel worden ervaren. Deze doorbraak belooft de digitale erfgoedbehoud te transformeren, waardoor onderzoekers en het publiek ongekende toegang krijgen tot kunstwerken die in de loop van de tijd verloren zijn gegaan.

Reliëfsnijwerken, kunstwerken waarop figuren tegen een vlakke achtergrond zijn geplaatst, dienen als een portaal naar het verleden en leggen vaak historische, religieuze of culturele verhalen vast. Deze houtsnijwerken zijn te vinden op talloze erfgoedlocaties over de hele wereld en worden onvermijdelijk blootgesteld aan erosie door natuurlijke krachten, vervuiling en menselijke activiteit. Terwijl sommige structuren profiteren van moderne 3D-scan- en fotogrammetrietechnieken die hun huidige staat vastleggen, is het een veel lastiger klus om ze terug te brengen naar hun uiterlijk van vóór de schade. Traditionele restauratiemethoden vereisen nauwkeurige vaardigheden en kennis, maar ze zijn ook tijdrovend en arbeidsintensief.

Wat reliëfsculpturen onderscheidt, is hun geringe diepte en frontaal ontwerp, wat betekent dat één enkele foto vaak voldoende gegevens kan vastleggen voor een digitale reconstructie. Het team van professor Tanaka heeft gebruikgemaakt van deze unieke functie en een neuraal netwerk gecreëerd dat in staat is om zeer nauwkeurige 3D-beelden te genereren met behulp van archieffoto's van vóór de reliëfs beschadigd of verduisterd werden. Deze aanpak elimineert de noodzaak van uitgebreide handmatige interventie, waardoor culturele bewaring toegankelijker en efficiënter wordt.

Het nieuwe neurale netwerk van het onderzoeksteam, gepresenteerd op de ACM Multimedia 2024-conferentie in Australië, voert drie kerntaken uit die samenwerken om zeer gedetailleerde 3D-beelden opnieuw te creëren: semantische segmentatie, diepteschatting en soft-edge-detectie. Deze functionaliteiten stellen het model in staat om subtiele dieptevariaties te extraheren die anders gemist zouden worden door conventionele algoritmen, waardoor resultaten worden behaald die voorheen als onhaalbaar werden beschouwd.

In tegenstelling tot traditionele diepteschatting, die worstelt met de gecomprimeerde dieptewaarden die vaak worden aangetroffen in reliëfafbeeldingen, gebruikt dit neurale netwerk een soft-edge-detector om het probleem aan te pakken. Hier worden randen niet eenvoudigweg gedetecteerd als binaire onderscheidingen, maar behandeld als een complexe multi-classificatietaak die "zachte randen" of lichte veranderingen in helderheid en kromming vastlegt. Door zich te richten op deze zachte randen, kan het model de diepte van kenmerken zoals gezichten en decoraties beter schatten - elementen die vaak het meest lijden onder compressie in standaard 2D-afbeeldingen.

Prof. Tanaka legt uit: "Onze nieuwe methode pakt dit aan door de diepteschatting te verbeteren, met name langs zachte randen, met behulp van een nieuwe edge-detectiebenadering." Deze verbeterde detectie zorgt voor een fijner detailniveau in de reconstructies, met name in gebieden waar traditionele methoden tekortschieten.

Om de nauwkeurigheid te verfijnen, bevat het netwerk een edge-matchingmodule met twee soft-edge-detectoren. Deze opstelling vergelijkt randkaarten om de meest ingewikkelde details te isoleren en te focussen, waardoor het netwerk zelfs de meest genuanceerde kenmerken van reliëfs met een hoge mate van precisie kan reconstrueren. De module verbetert de nauwkeurigheid verder met een dynamische randverbeterde verliesfunctie, die gegevens van alle drie taken compileert om duidelijkere, meer gedetailleerde 3D-afbeeldingen te produceren.
De verborgen relikwieën van Borobudur tot leven brengen

Het neurale netwerk heeft zijn potentieel al aangetoond op een van 's werelds belangrijkste culturele locaties: de Borobudur-tempel in Indonesië. De ingewikkelde reliëfs van Borobudur, een UNESCO-werelderfgoedlocatie, werden gedeeltelijk verduisterd tijdens restauratiewerkzaamheden in het Nederlandse koloniale tijdperk. De muren die deze oude houtsnijwerken bedekten, verhinderden dat traditionele methoden hun oorspronkelijke vorm konden vastleggen, waardoor generaties historici, archeologen en bezoekers zich niet bewust waren van wat eronder verborgen lag.

Met behulp van oude foto's reconstrueerde Tanaka's team deze verborgen houtsnijwerken met succes. "Door middel van computervisualisatie en virtual reality maakt ons onderzoek nu virtuele verkenning van deze ongeziene schatten mogelijk", zegt prof. Tanaka. De resultaten betekenen dat mensen voor het eerst virtueel delen van Borobudur kunnen ervaren die voorheen voor de wereld waren afgesloten, een bewijs van de diepgaande impact van het neurale netwerk op het behoud van erfgoed.

Kijken naar de toekomst: Uitbreiding van mogelijkheden in erfgoedbehoud

Met deze technologie reiken de mogelijkheden veel verder dan Borobudur. Van het verbeteren van virtuele museumervaringen tot het in staat stellen van archeologen om artefacten op afstand te onderzoeken, het neurale netwerk biedt transformatieve mogelijkheden. Zoals Prof. Tanaka opmerkt: "Onze technologie heeft een enorm potentieel voor het behoud en delen van cultureel erfgoed. Het opent nieuwe mogelijkheden, niet alleen voor archeologen, maar ook voor meeslepende virtuele ervaringen via VR- en metaverse technologieën, waardoor wereldwijd erfgoed wordt bewaard voor toekomstige generaties."

Voor het veld van cultureel behoud kan deze ontwikkeling niet actueler zijn. Virtual reality (VR) en metaverse platforms bieden interactieve, meeslepende ervaringen die wereldwijd publiek in nauw contact kunnen brengen met artefacten zonder het risico van fysieke degradatie. Dit houdt niet alleen de herinnering aan culturele locaties levend, maar breidt ook educatieve mogelijkheden uit, waardoor iedereen met een internetverbinding de kans krijgt om wereldwijd erfgoed uit de eerste hand te ervaren.
Voorvechters van digitale geesteswetenschappen

Professor Satoshi Tanaka heeft een onderscheiden carrière aan de Ritsumeikan University, met expertise op het gebied van computergraphics, wetenschappelijke visualisatie en digitale geesteswetenschappen. Zijn werk is breed erkend, met meer dan 1.700 publicaties en meer dan 100.000 citaten. Als fellow aan de Ritsumeikan Advanced Research Academy blijft hij de grenzen van digitale bewaring verleggen, waarbij hij geavanceerde technologie combineert met een diepe waardering voor culturele geschiedenis.

Dr. Jiao Pan, momenteel docent aan de University of Science and Technology Beijing, voerde een groot deel van dit onderzoek uit tijdens haar doctoraatsstudies onder leiding van prof. Tanaka. Haar baanbrekende werk aan 3D-reconstructie van de verborgen houtsnijwerken van Borobudur onderstreept haar toewijding aan het gebruik van technologie voor cultureel behoud.
Bredere implicaties en volgende stappen

De implicaties van dit onderzoek zijn uitgebreid, met toekomstige ontwikkelingen die waarschijnlijk nog verfijndere modellen zullen omvatten die verschillende soorten reliëfkunst aankunnen. Daarnaast is het onderzoeksteam van plan om toepassingen voor verschillende culturele contexten te verkennen, door het neurale netwerk aan te passen voor artefacten variërend van oude stenen tabletten tot delicate muurschilderingen. Door hun model te blijven verfijnen, zorgen ze ervoor dat het veelzijdig en aanpasbaar blijft voor verschillende conserveringsbehoeften.

Voor musea en culturele organisaties zou deze technologie een essentieel hulpmiddel kunnen worden voor het beschermen en delen van hun collecties. Het zou hen in staat kunnen stellen om digitale archieven te creëren die niet alleen het uiterlijk, maar ook de historische context van artefacten vastleggen, en zo een verrijkte kijkervaring bieden voor publiek over de hele wereld.
Een nieuw tijdperk van erfgoedbehoud ontsluiten

Dit neurale netwerk gaat niet alleen over het bewaren van relikwieën uit het verleden, het gaat over het openen van deuren naar ervaringen die voorheen ondenkbaar waren. Of het nu via een VR-headset of een museumtentoonstelling is, de kans om getuige te zijn van oude kunst in digitale 3D-vorm brengt een geheel nieuwe dimensie in de waardering van cultureel erfgoed.

Met het werk van Prof. Tanaka en Dr. Pan is het duidelijk dat de toekomst van behoud net zozeer draait om technologische innovatie als om respect voor de geschiedenis.

NJC.© Info Professor Satoshi Tanaka  Ritsumeikan University

--------------------------------------------------------------------------------------------------------------------