Forscher teilen nützliche Erkenntnisse aus der Bewertung neuer Technologien

Forscher teilen nützliche Erkenntnisse aus der Bewertung neuer Technologien
Forscher teilen nützliche Erkenntnisse aus der Bewertung neuer Technologien
Anonim

Die meisten Führungskräfte der Industrie, Militärplaner, Forschungsmanager oder Risikokapitalgeber, die mit der Bewertung des Potenzials eines F&E-Projekts beauftragt sind, sind wahrscheinlich mit der ironischen Wendung des dritten Gesetzes von Arthur C. Clarke vertraut: „Jede ausreichend fortgeschrittene Technologie ist nicht von a zu unterscheiden manipulierte Demo."

Nachdem sie fünf Jahre lang als unabhängige Bewerter von neuen Militärtechnologien gedient haben, die von der Defense Advanced Research Projects Agency (DARPA) gefördert werden, teilt ein Team des National Institute of Standards and Technology (NIST) entscheidende „Lektionen“, die es kann Helfen Sie Unternehmen und anderen, die Versprechungen und Fallstricke auszuhandeln, denen man begegnet, wenn man die Grenzen der Technologie erweitert, um neue Fähigkeiten zu ermöglichen.

In einem Artikel im International Journal of Intelligent Control and Systems beschreiben die NIST-Forscher auch den Bewertungsrahmen, den sie entwickelt haben, um die Leistung eines Systems und seiner Komponenten sowie den Nutzen der Technologie für den beabsichtigten Benutzer zu beurteilen. Das Rahmenwerk mit der Bezeichnung SCORE (System, Component, and Operationally Relevant Evaluations) ist ein einheitlicher Satz von Kriterien und Softwaretools zur Bewertung neuer Technologien aus unterschiedlichen Perspektiven und Detailebenen und in verschiedenen Entwicklungsstadien.

SCORE wurde zur Bewertung sogenannter intelligenter Systeme entwickelt - einer schnell wachsenden Kategorie von Technologien, die von Robotern und unbemannten Fahrzeugen bis hin zu Sensornetzen, Geräten zur Verarbeitung natürlicher Sprache und "intelligenten" Geräten reicht. Craig Schlenoff, stellvertretender Leiter der Systems Integration Group des NIST, erklärt per Definition: „Intelligente Systeme können auf Bedingungen in einer unsicheren Umgebung – sei es ein Schlachtfeld, eine Fabrikhalle oder ein städtisches Autobahnsystem – auf eine Weise reagieren, die der Technologie hilft, dies zu erreichen beabsichtigter Zweck."

Schlenoff und seine Kollegen verwendeten ihren SCORE-Ansatz, um Technologien zu bewerten, während sie im Rahmen von zwei DARPA-Programmen Fortschritte machten: ASSIST und TRANSTAC. In ASSIST finanziert DARPA Bemühungen, Soldaten mit tragbaren Sensoren auszustatten – Videokameras, Mikrofone, globale Positionsbestimmungsgeräte und mehr – um Aktivitäten während ihrer Mission kontinuierlich aufzuzeichnen. TRANSTAC treibt die Entwicklung von Zwei-Wege-Sprachübersetzungssystemen voran, die es Sprechern verschiedener Sprachen ermöglichen, in realen Situationen ohne Dolmetscher miteinander zu kommunizieren. Durch die Bereitstellung von konstruktivem Feedback zu den Systemfähigkeiten hilft der Bewertungsrahmen von SCORE dabei, Innovationen und Leistungsverbesserungen voranzutreiben.

Mehrere vom NIST-Team erzählte Lektionen zielen darauf ab, die Beiträge der Testpersonen und der Entwickler von Technologien zu maximieren, ohne die Testergebnisse zu verfälschen. „Oft ist es ein Balanceakt“, schreiben sie, „zwischen der Gest altung der Evaluationsumgebung, die das System im bestmöglichen Licht zeigt, vs.eine möglichst realistische Umgebung zu haben."

Sie besprechen auch unvermeidbare Kompromisse aufgrund von Kosten, Logistik oder anderen Faktoren. Während Evaluatoren und Technologieentwickler ihr Endziel nie aus den Augen verlieren sollten, raten die NIST-Forscher auch zur Notwendigkeit von Flexibilität im Laufe der Zeit. Wenn mehr über das System und die Benutzeranforderungen in Erfahrung gebracht wird, können sich Funktionen ändern und Projektziele modifiziert werden, was Anpassungen des Bewertungsansatzes erforderlich macht.

"Die wichtigste Lektion", erklärt Schlenoff, "ist, dass der zusätzliche Aufwand für die Evaluierungsplanung einen enormen Einfluss auf den Erfolg der Evaluierung haben kann. Fehlentscheidungen, die während des Entwurfs getroffen wurden, können schwierig und kostspielig zu beheben sein später."

Weitere Informationen zu SCORE finden Sie unter:

Beliebtes Thema