* Technische Universität Dresden, Institut für Textilmaschinen und Textile Hochleistungswerkstofftechnik, Professur Montagetechnik für textile Produkte (ITM), Dresden (Germany)
** Technische Universität Dresden, Institut für Akustik und Sprachkommunikation, Professur Akustik und Haptik (AHA), Dresden (Germany)

*** Technische Universität Dresden, Institut für Automatisierungstechnik, Lehrstuhl für Automatisierungstechnik (IfA), Dresden (Germany)

**** Gesellschaft zur Förderung der angewandten Informatik e.V. (GFaI), Berlin (Germany)

Problemstellung und Motivation

Die Inspektion räumlich entfernter Produktoberflächen ist sowohl für die Industrie, z. B. zur Qualitätssicherung entlang der Wertschöpfungs- bzw. Zuliefererkette in weltweit stationierten Anlagen, als auch im Konsumgüterbereich, u. a. im E-Commerce, sowie für Menschen mit eingeschränkter Sehfähigkeit oder Mobilität von besonderem Interesse. Die Oberflächen von Konsumgütern ebenso wie die industrieller Produkte sind multimodal, d. h. durch die Einheit visueller, auditiver und haptischer Eigenschaften gekennzeichnet. Für die digitale Übermittlung visueller und auditiver Modalitäten gibt es einzeln, das heißt unabhängig voneinander, schon erfolgreiche Ansätze. So sind z. B. Textilunternehmen nicht mehr gezwungen, Farb- und Mustercoupons weltweit zu verschicken, sondern können die Möglichkeit eines digitalen Farbabgleichs unter Anwendung der Multispektraltechnologie nutzen. Auch auditive Eigenschaften, z. B. das Knarzen von Leder, lassen sich weitestgehend realitätsnah digital wiedergeben. Produzenten und potentielle Käufer sind aber nicht in der Lage, haptische Eigenschaften gleichermaßen zu bewerten, da die Erzeugung derartiger Eindrücke für Virtual-Reality (VR)-Anwendungen bisher nicht gelöst ist. Branchenübergreifend hätte dies für viele Industriebereiche, u. a. die Textilindustrie, die Papier- und Holzindustrie (Möbelindustrie), die Automobilindustrie (Interieur) sowie den Dienstleistungssektor und die IT-Bereiche sowohl für die Kommunikation innerhalb der Wert-schöpfungsketten als auch mit dem Endverbraucher eine enorme Bedeutung.

So ist der Konsument von Bekleidung trotz aller bereits existierenden Möglichkeiten einer virtuellen Produktdarstellung (virtueller Spiegel) im statischen oder im dynamischen Zustand (virtueller Catwalk) nicht in der Lage, die haptischen Eigenschaften zu erfassen und zu bewerten. Der "Griff" gilt gerade für biegeweiche Materialien als einer der wichtigsten Qualitätsparameter und bestimmt die durch die Reaktion auf den Tastsinn eingeschätzte Qualität einer Oberfläche (Abb. 1).

International wurden in den letzten vier Jahrzehnten Gerätetechnik und Algorithmen entwickelt, um aus den Ergebnissen sehr umfangreicher instrumenteller Messungen der mechanischen Eigenschaften von Textilien sogenannte Griffnoten zu ermitteln, die allenfalls im Forschungsumfeld zur Verfügung stehen. In der Praxis haben sie sich nicht durchgesetzt, da sie für den Nutzer wenig aussagekräftig sind. Der heutige Stand der Technik auf den Gebieten der Kommunikations- und Informationstechnologien ermöglicht neuartige Lösungsansätze für die multimodale Darstellung/Wiedergabe/Inspektion haptischer Eigenschaften von Produktoberflächen. Bisher fehlen jedoch Kommunikationsschnittstellen und geeignete Modelle zur wahrnehmungsgerechten Beschreibung von Produktoberflächen, um neben visuellen und auditiven auch haptische Eigenschaften digital wiedergeben zu können. Der Anwender soll dabei Informationen über die Geometrie (Form, Größe, ...) und Aufschluss über die Materialeigenschaften (Oberflächenstruktur, Steifigkeit/Elastizität, ...) der Produktoberfläche erlangen.

Die heute im Wesentlichen durch auditive und visuelle Eindrücke geprägte, weltweit agierende Industrie sowie der digital/virtuelle Markt könnten dadurch deutlich verbessert und durch taktile Eindrücke erweitert werden. Digitale Lösungen zur haptischen Inspektion ermöglichen entlang der Wertschöpfungskette und auf Basis von E-Commerce erweiterte Geschäftsfelder. Um diese Chance zu ergreifen, wurden im Rahmen des interdisziplinären branchenübergreifenden Projektes neuartige Methoden zur multimodalen Beschreibung von textilen Oberflächen für digitale Anwendungen erarbeitet.

Zielsetzung

Ziel des interdisziplinär aufgestellten Forschungsprojektes bestand darin, auf der Basis industrierelevanter Testszenarien Kennwerte zur haptischen Beschreibung von Produktoberflächen, insbesondere textilen Oberflächen, zu erfassen und digital zu übermitteln. Intention dabei war es, durch die Ausnutzung der drei Sinnesmodalitäten zum einen die textilen Oberflächen zu beschreiben und zum anderen deren Steifigkeit hinreichend genau darzustellen und zu übermitteln, d.h. zusätzlich zu auditivem und visuellem auch ein taktiles/haptisches Feedback für eine neue digitale Kommunikation zu ermöglichen. Der neuartige und sehr anspruchsvolle Forschungsansatz erforderten eine interdisziplinäre Vorgehensweise und die Bündelung der Kompetenzen auf den Gebieten Textiltechnik, Entwicklung virtueller Produkte, Akustik und Haptik, Automatisierungstechnik und automatisierte Bildverarbeitung, worin sich die ausführenden Institute in nahezu idealer Weise ergänzten.

Ergebnisse und Anwendungen

Im Rahmen des Projektes konzentrierten sich die Forschungsarbeiten zunächst auf die Möglichkeiten zur Beschreibung haptischer Eigenschaften (taktil, kinästhetisch) und deren Übertragung in geeignete Signalstrukturen (Physik-Engine). Für die multimodale Betrachtungsweise wurden zusätzlich visuelle und auditive Informationen zur Beschreibung der Produktoberflächen erfasst kombiniert (Abb. 2).

Während sich die haptischen Eigenschaften von textilen Produktoberflächen wie Holz und Papier durch Reibungs- und Rauheitskenngrößen weitestgehend gut beschreiben lassen, werden textile Materialien durch den Griff charakterisiert, der zusätzlich auch aus den Materialsteifigkeiten resultiert. Mit einem Sample von ca. 130 Materialien wurden umfangreiche textilphysikalische, akustische und optische Untersuchungen zur Beschreibung haptischer Kenngrößen durchgeführt. Um die benötigten Kenngrößen effektiv mit Hilfe industrierelevanter Prüftechnik zu erfassen, wurden Testszenarien und -vorrichtungen entwickelt und konstruktiv umgesetzt (Abb. 3). Dabei ging es nicht um eine exakte physikalische Abbildung einzelner Eigenschaften, wie Biege- und Dehnungsverhalten oder Reibung, sondern es wurden Summenparameter messtechnisch bestimmt und mit wahrnehmungsbezogenen Größen verglichen, um eine ausreichende haptische Charakterisierung sowie eine Differenzierbarkeit zwischen den Materialien zu ermöglichen. Mit Hilfe des modifizierten Ringdurchzugstests konnten sowohl oberflächen- als auch steifigkeitsbeschreibende Kenngrößen (Reibungsverhalten - Durchzugskraft, Biegesteifigkeit - Drapierverhalten) während eines Versuches bestimmt werden. Die Zusatzvorrichtung lässt sich problemlos an einer Standard-Zugprüfmaschine adaptieren.

Außerdem wurden mit dem Textile Softness Analyzer der Firma emtec Electronic GmbH [2] prüftechnische Untersuchungen zur Bewertung der textilen Oberflächen durchgeführt. Beim TSA-Messgerät rotiert ein auf die gespannte Stoffprobe gedrücktes Flügelrad und erzeugt dabei ein Geräusch. Der Geräuschpegel wird mit einem Mikrofon aufgenommen und in ein Schallfrequenzspektrum umgewandelt. Der bei einer Frequenz unterhalb von 750 Hz ermittelte Peak der Messkurve charakterisiert die Rauheit des textilen Materials (Abb. 4). Mit Hilfe dieser Kenngröße erfolgte die Einteilung des Samples, das ein breites Spektrums textiler Materialien (Bekleidungstextilien - Gewebe, Gestricke, Kettengewirke aus natürlichen und synthetischen Faserstoffen; Automobiltextilien; Heim- und Haustextilien) repräsentiert in 5 Klassen (Abb. 5). Ausgewählte Materialien dieser Klassen wurden in einem haptischen Wahrnehmungsexperiment (Blindversuch) von 20 Probanden (10 Laien, 10 Experten) untersucht. Es zeigte sich eine sehr gute Übereinstimmung der TSA-Rauheit zwischen der subjektiven und der objektiven Bewertung anhand der Kriterien rau und glatt (Abb. 6).

Für die multimodale Interaktion ist es erforderlich, dem Betrachter die textile Struktur so realistisch wie möglich digital zu präsentieren (Abstimmung Probengröße/Auflösung) und gleichzeitig durch die Erfassung des Oberflächenprofils eine Information bereitzustellen, die die Zuordnung eines akustischen Signals zur Position des Fingers in z-Richtung bei der „Berührung“ der Stoffprobe am Tablet oder Smartphone ermöglicht. Die Bildaufnahmen wurden mit einer Kamera unter definierten Umgebungsbedingungen (Blickwinkel, Beleuchtung) mit nachfolgender Shadingkorrektur und Entzerrung durchgeführt. Zur Erprobung der geeigneten visuellen Darstellungen der Farbbilder erfolgte die Bereitstellung verschiedener geometrischer Auflösungsstufen für unterschiedliche Endgeräte (Smartphone, Tablet) (Abb. 7). Für die 3D-Vermessung kam ein robotergeführter, hochauflösender Scankopf (Lasertriangulation) zum Einsatz.

Um für die textilen Materialien akustische Kenngrößen bereitzustellen, wurde ein Bewegungssimulator entwickelt, bei dem das textile Material auf einer sich drehenden Trommel aufliegt und von einem Nadelarray abgetastet wird. Die aufgenommenen Frequenzspektren der Beschleunigungspegel dienen als Grundlage zur vibratorischen Strukturerfassung. Da die außerdem aufgenommenen realen akustischen Signalmuster keine ausreichende Differenzierung der textilen Materialien zuließen, wurden zusätzlich Algorithmen zu deren Synthetisierung erarbeitet. Der momentane Entwicklungsstand erlaubt die vibrotaktile Abbildung der Rauheit der textilen Oberfläche. Zur Verstärkung der vibratorischen Wahrnehmung der Oberflächenrauheit wurde das Tablet auf einem elektrodynamischen Shaker positioniert (Abb. 8).

Alle experimentell ermittelten Kennwerte (textilphysikalisch, geometrisch, visuell, auditiv, haptisch) der getesteten Textilien wurden in einer multimodalen Datenbank hinterlegt, deren relationaler Teil z. B. Dicke, Flächenmasse, Größe der Textilproben, Rauheit und Biegesteifigkeit enthält. Im dateibasierten Teil sind Bildaufnahmen, 3D-Scans und Audiodateien gespeichert. Eine Physik-Engine greift auf diese Daten zu, um die Daten in zu verarbeiten und haptisch, visuell und auditiv in geeigneter Weise für die multimodale Wiedergabe zu kombinieren. Um die multimodalen Daten synchronisiert übertragen zu können, wurden geeignete Protokolle und Kommunikationstechnologien ausgewählt und angepasst. Dazu wurden die Möglichkeiten der Datenerzeugung auf einem Server oder lokal auf einem Client über eine WebService-Schnittstelle zum Bereitstellen der Produktdaten über HTTP für das Internet sowie eine kontinuierliche Übertragung von Daten (Streaming) betrachtet. Erste, erfolgversprechende Untersuchungen in emulierten Netzen mit 5G-Technologie wurden durchgeführt.

Die interdisziplinär gewonnenen Forschungsergebnisse werden final in einer entwickelten Android-App (Abb. 9) für ein Smartphone aus dem Konsumer-Bereich zur Video-, Audio- und Haptikausgabe zusammengeführt. Die Audioausgabe berücksichtigt die Geschwindigkeit des Fingers beim Überstreichen über den Bildschirm während die Vibration basierend auf der Fingerposition und den Höhenwerten der 3D-Scans ermöglicht wird (Abb. 10). Die Visualisierung einer geometrischen Auflösung der textilen Struktur, die dem realen Abbild entspricht, unterstützt den Konsumer in seiner Wahrnehmung, die mit akustischen und haptischen Signalen komplettiert wird. Eine Zuordnung der Rauheit ist derzeit bereits gut möglich. Um die Dominanz eines Wahrnehmungskanals zu vermeiden, wird die Abstimmung der Signalstärken weiter erforscht.

Die Projektergebnisse sind für die digitale Kommunikation von Qualitätsan­forderungen sowohl innerhalb der globalen textilen Zuliefererkette als auch im Endkonsumerbereich nutzbar. Bei letzterem wird zukünftig eine nachhaltige Umweltentlastung reduzierte Retouren im online Handel erwartet. Branchenübergreifend ist der Forschungsansatz auch für Fertigungsketten in anderen Verarbeitungsbereichen, z. B. Papier und Leder, ebenso auch in der Medizintechnik, übertragbar.

Literatur

[1]   Krzywinski, S.; Altinsoy, E.; Braune, A.; Püschel, F.: Methodenentwicklung für die multimodale Inspektion (haptisch, visuell, auditiv) von Produktoberflächen als Beitrag zur fortschreitenden Digitalisierung. IGF-Schlussbericht Nr. 19479 BR, TU Dresden, 2020.

[2]   Emtec Electronic GmbH, https://www.emtec-electronic.de/de/, 1.3.2019

Danksagung

Das IGF-Vorhaben 19479 BG/1 der Forschungsvereinigung Forschungskuratorium Textil e.V., Reinhardtstraße 12-14, 10117 Berlin, wurde über die AiF im Rahmen des Programms zur Förderung der industriellen Gemeinschaftsforschung und -entwicklung (IGF) vom Bundesministerium für Wirtschaft und Energie aufgrund eines Beschlusses des Deutschen Bundestages gefördert.

Kontakt:

Institut für Textilmaschinen und Textile Hochleistungswerkstofftechnik (ITM), TU Dresden, Dresden
Prof. Dr.-Ing. habil. S. Krzywinski
E-Mail: sybille.krzywinski@tu-dresden.de
Tel.: +49 (0) 351 463-39312
http://tu-dresden.de/mw/itm