Las organizaciones pueden tomar mejores decisiones sobre qué proyectos de I + D obtienen financiación si gestionan los sesgos e implican a más personas
A principios de 1962, una banda desconocida de Liverpool hizo una audición para Decca Records. El sello rechazó a la banda y dijo: “No nos gusta su sonido y la música de guitarra está a punto de desaparecer”. Aproximadamente 18 meses después, los Beatles lanzarían su primer álbum. 1 El resto es historia.
El mundo empresarial está lleno de anécdotas sobre empresas que transmitieron una idea que luego se convirtió en un gran éxito. Lo contrario también es cierto; en algunos casos, las empresas invierten en ideas prometedoras que resultan desastrosas. Un ejemplo famoso es Iridium Communications, una antigua división de Motorola que buscaba comercializar ampliamente los teléfonos satelitales. Después de que la compañía envió satélites en órbita en 1998, una serie de problemas impidieron que la empresa ganara terreno con los clientes, y la compañía se declaró en bancarrota el año siguiente. (Iridium fue reestructurado y todavía existe; su tecnología es utilizada por el ejército de EE. UU.) 2
La selección de nuevos proyectos innovadores para una mayor inversión y desarrollo es fundamental y difícil. Los mejores proyectos de I + D pueden renovar las líneas de productos, procesos y servicios de una organización, mejorando su desempeño y competitividad. Pero decidir qué nuevas ideas son ganadoras y cuáles fracasas es difícil, porque las nuevas iniciativas se caracterizan por una incertidumbre tecnológica y de mercado fundamental. Y nuestra investigación muestra que en muchas empresas, los prejuicios y los problemas de proceso pueden poner en peligro las buenas decisiones.
Para mejorar su historial de elección de las innovaciones adecuadas para presentar, los líderes primero deben comprender dónde fallan los paneles de selección de I + D. Basándonos en nuestra investigación, hemos identificado cinco categorías principales de tales problemas. Sugerimos pasos específicos que los líderes pueden tomar antes, durante y después del proceso de selección para tomar decisiones más objetivas y basadas en hechos sobre qué nuevas ideas dar luz verde. Si bien nada puede eliminar todo el riesgo de un esfuerzo inherentemente especulativo, mejorar el proceso puede inclinar las probabilidades a favor de las empresas.
Muchas organizaciones han creado paneles de expertos que invierten mucho tiempo y esfuerzo en revisar los argumentos de los proyectos y deliberar sobre sus méritos. Debido a que estos paneles generalmente están compuestos por miembros de alto nivel de la organización, son un recurso costoso. Pero la investigación muestra que estos paneles de expertos pueden ser muy problemáticos por cinco razones principales.
En primer lugar, los paneles tienden a mostrar un fuerte sesgo en contra de ideas muy novedosas, aunque generarlas es el objetivo explícito de los esfuerzos de innovación. 3 Los tomadores de decisiones a menudo los rechazan, incluso si afirman querer innovaciones revolucionarias, porque se sienten incómodos con el riesgo que implica perseguirlas. Realizamos un estudio en una firma líder de servicios profesionales y descubrimos que los paneles de revisión de proyectos tenían más probabilidades de financiar proyectos con niveles intermedios de novedad. Algún grado de novedad aumentó las posibilidades de financiación, pero redujo demasiado esas posibilidades. 4
En segundo lugar, una amplia gama de estudios ha encontrado que los paneles de expertos adolecen de una falta de diversidad. Las organizaciones suelen formar paneles con “los sospechosos habituales”: hombres de alto rango. La incertidumbre inherente a la innovación de luz verde empuja a los panelistas a volver al pensamiento establecido sobre las personas y sus antecedentes, favoreciendo proyectos de personas que se ven y suenan como ellos mismos en lugar de basar una decisión en los méritos de la idea en sí. 5Los sesgos pueden manifestarse como una preferencia por los hombres sobre las mujeres, personas con nombres familiares en contraposición a aquellos con nombres que “suenan a extranjeros”, personas con mayor experiencia dentro de la organización, personas de un lugar en particular o personas con afiliaciones de alto estatus (como como una universidad famosa). Estos sesgos pueden reforzarse a sí mismos con el tiempo entre grupos homogéneos de personas, razón de más para que las organizaciones aumenten la diversidad en los paneles de innovación.
Un estudio reciente que examinó la selección de startups que se postularon al programa acelerador MassChallenge encontró que cuando los jueces evaluaban las startups por sí solos, sin consultar con otros jueces y sobre la base de una descripción puramente textual de la empresa, era menos probable que se vieran influenciados por el género del fundador y dónde habían obtenido su título universitario. Por el contrario, cuando los jueces realizaron sus evaluaciones después de ver una presentación breve y una sesión de preguntas y respuestas, el género y los antecedentes educativos se volvieron más importantes en sus evaluaciones. 6 Cuando las características individuales son más evidentes, afectan el resultado del proceso de toma de decisiones. Este efecto se agrava cuando una evaluación debe realizarse rápidamente, lo que sugiere que la fatiga y las altas cargas de trabajo podrían conducir a elecciones más sesgadas.
La falta de diversidad en los paneles de expertos también es problemática dado que las personas con diferentes antecedentes demográficos tienen diferentes experiencias y, en consecuencia, diferentes opiniones sobre qué ideas seguir. 7 Por lo tanto, dejar de lado a las mujeres y / o personas de diferentes orígenes y herencias puede conducir a la pérdida de oportunidades o inversiones fallidas. 8
En tercer lugar, las empresas de tecnología suelen formar paneles de expertos con científicos e ingenieros, que tienden a centrarse en los aspectos técnicos de una idea sin considerar suficientemente las oportunidades y los desafíos comerciales. Aunque se requiere algo de experiencia, tener solo expertos en un panel puede ser problemático. 9 Los miembros del panel pueden tener un sesgo por las ideas que se originan en su propio campo de especialización, y los expertos son propensos a cometer errores sistemáticos al evaluar ideas verdaderamente novedosas.
En cuarto lugar, el proceso de toma de decisiones del panel en sí mismo también puede conducir a resultados inferiores. Como en muchas otras áreas de la toma de decisiones colectivas, las solicitudes suelen ser presentadas por un miembro del panel, similar a un patrocinador informal. Esta persona enmarca la discusión en torno a los temas que cree que el grupo debería considerar, creando un consenso artificial en apoyo de la postura de esa persona. Incluso si los patrocinadores se esfuerzan por ser objetivos, sus propias opiniones sobre el proyecto pueden reflejarse en su tono y presentación, transmitiendo sesgos y dando forma a las opiniones de los demás en el panel.
Finalmente, la sincronización del proceso también puede producir decisiones inferiores. Por ejemplo, sabemos que el horario de las comidas afecta las decisiones de sentencia de los jueces, de modo que el porcentaje de fallos favorables cae gradualmente antes y luego aumenta después de los descansos de la sesión. 10 Además, el orden en que se revisan los proyectos da forma a los resultados. Al analizar datos únicos de una empresa de servicios profesionales, descubrimos que la decisión de financiar un proyecto hace que sea poco probable que se financie el siguiente. Esto ocurre incluso cuando la secuencia es aleatoria. 11
Hay varias formas de reducir estos sesgos y mejorar los resultados antes, durante y después de seleccionar proyectos de innovación para una mayor inversión. Si bien estas prácticas pueden requerir algunos recursos y esfuerzo para su implementación, es probable que cuesten menos que el modelo tradicional de selección, que grava en gran medida el tiempo y el esfuerzo de los altos directivos y los tecnólogos.
Antes de que se evalúen los proyectos, las empresas pueden tomar medidas para asegurarse de obtener una evaluación justa basada en sus méritos, principalmente mediante la revisión del proceso de envío de ideas para su consideración.
Eliminar nombres e información demográfica. Para combatir los sesgos latentes, las organizaciones deben enmascarar o eliminar los nombres y las características demográficas clave de los creadores detrás de las ideas que se estén considerando. Algunas investigaciones han descubierto que ocultar las presentaciones científicas aumenta la probabilidad de que las mujeres reciban subvenciones. 12 Un experimento simple y de bajo costo que una organización puede ejecutar es enmascarar la identidad del creador de la idea para probar si existe un sesgo para ciertos tipos de individuos en la organización.
En particular, aunque el enmascaramiento de las presentaciones es un comienzo, es probable que las empresas deban tomar medidas adicionales para identificar sesgos. Un estudio sobre la aceptación de propuestas de subvención por parte de la Fundación Gates encontró que las revisiones ciegas no siempre eliminan de manera integral los prejuicios de género. 13 Pueden surgir diferencias basadas en el género en los estilos de redacción de los proponentes del proyecto, lo que sugiere que las organizaciones deben evaluar de manera continua y proactiva si están siendo víctimas de prejuicios.
Estandarice las presentaciones. Es fundamental que las ideas que compiten entre sí sean comparables. Esto se puede lograr proporcionando una plantilla estandarizada y detallada para las presentaciones. En la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA), los administradores de programas deben enmarcar sus propuestas siguiendo el Catecismo de Heilmeier, un conjunto de preguntas formuladas por primera vez por George Heilmeier, director de la agencia a mediados de la década de 1970. 14 Establece los criterios utilizados por los selectores para decidir si financiar un proyecto y también actúa como un dispositivo de selección para ayudar a los gerentes de proyecto a juzgar si sus ideas tienen posibilidades de ser aprobadas. (Ver “El Catecismo de Heilmeier”).
Otra ventaja de estandarizar los envíos es que las empresas pueden crear más fácilmente repositorios de ideas aceptadas y rechazadas que se pueden buscar y que se pueden comparar fácilmente, lo que hace que el proceso sea más transparente y objetivo. Una empresa que estudiamos publica todos los lanzamientos y las decisiones de los proyectos en una página web interna para que las personas puedan aprender sobre lo que ha funcionado en el pasado. Al igual que la revisión científica previa a la publicación, este modelo abierto también permite que cualquier persona de la organización comente las solicitudes pendientes, lo que garantiza que el panel tenga acceso a las opiniones de otros miembros de la organización antes de tomar sus decisiones.
Amazon también requiere que los empleados presenten sus ideas utilizando un enfoque estandarizado. Los criterios básicos de evaluación son similares a los del Catecismo de Heilmeier: cuál es el potencial de mercado estimado de la idea, si Amazon puede construirla y si a los clientes les encantará. 15
El proceso de selección en sí es el más maduro para repensar. Hay varias medidas que las organizaciones pueden tomar para mejorar los resultados.
Busque voces diversas dentro de la empresa.La investigación ha destacado la importancia de la diversidad en múltiples dimensiones: características demográficas, pero también experiencia y antecedentes profesionales. Tener un panel de selección más diverso no solo lo ayudará a superar los prejuicios contra las mujeres y las personas de diferentes orígenes y herencias, sino que también dará lugar a productos que sean más atractivos para las personas con diferentes necesidades e intereses. En segundo lugar, una mayor diversidad de conocimientos aumenta las probabilidades de que se financien más proyectos novedosos. Un método relativamente sencillo para hacer que los equipos de selección sean más diversos es incluir personas con antecedentes técnicos y no técnicos. Esto asegura que los proyectos se evalúen no solo en los aspectos técnicos, sino también en el potencial del mercado, la planificación comercial, el ajuste estratégico y la financiación. Por ejemplo,
Además, las empresas pueden crear jurados de selección o crear asambleas ciudadanas entre los empleados. Si las empresas siguen este enfoque, también deben asegurarse de que los miembros del panel sientan que pueden expresar libremente sus puntos de vista, especialmente entre los altos directivos y los tecnólogos. Los beneficios de la diversidad solo se obtienen cuando las personas hablan y dan voz a sus diferentes perspectivas.
Utilice los principios del crowdsourcing, tanto a nivel interno como externo. El principio básico del crowdsourcing es que la sabiduría colectiva de un grupo grande a veces puede conducir a un mejor resultado que una decisión de un pequeño número de expertos. Las empresas pueden utilizar este enfoque tanto interna como externamente. En el crowdsourcing interno, las empresas proporcionan una moneda ficticia a todos los empleados o un grupo grande de personas y les permiten “invertir” esa moneda en la idea que creen que tiene el mayor potencial. BMW, por ejemplo, ha experimentado dando a los trabajadores de la planta un presupuesto limitado de botones azules para priorizar entre las propuestas de proyectos recopiladas de la fuerza laboral. 16 Siemens ha utilizado un mercado de predicción para evaluar nuevas ideas sugeridas por sus empleados. 17Una faceta interesante de estos métodos es que a veces apuntan a conclusiones contrarias a las de los ejecutivos de la empresa.
Algunas empresas también involucran a multitudes externas en la selección de la innovación. Lego Ideas, una conocida plataforma de crowdsourcing, permite que personas de todo el mundo compartan sus ideas para nuevos sets de Lego, voten las ideas propuestas e indiquen cuánto pagarían por ellas. Desde la perspectiva de Lego, esto reduce la incertidumbre de la demanda e indica qué ideas pueden tener éxito. Desde el inicio de la plataforma en 2014, Lego ha recibido más de 100.000 ideas. Al permitir que la multitud filtre previamente las mejores ideas, Lego ha tenido que evaluar cuidadosamente solo un pequeño subconjunto, lo que ha reducido la carga de selección y le ha permitido a la empresa centrar su atención en las ideas más prometedoras y su adecuación al modelo de negocio de Lego. Algunos productos que ahora están en los estantes de las tiendas se desarrollaron originalmente a través de la plataforma. 18
Utilice un enfoque de taller. Otra forma de evaluar los proyectos de innovación es mediante talleres, que reúnen a expertos de diferentes campos para trabajar juntos. El enfoque surgió en el Reino Unido, donde los consejos de investigación financiados por el gobierno querían romper con las limitaciones de la revisión anónima por pares, que tiende a ser conservadora e intolerante con los proyectos interdisciplinarios. 19 (En el Reino Unido, estos talleres se denominan “areneros”). Los talleres reúnen a científicos que trabajan en un área en particular para un retiro intensivo de una semana, donde los participantes discuten sus ideas de investigación, obtienen retroalimentación de otros expertos y seleccionan colectivamente qué proyectos serán fundado.
Déjelo al azar. Puede sonar herético, pero algunas organizaciones están incorporando la aleatoriedad en las decisiones de I + D, particularmente al elegir entre proyectos de calidad media. (Por lo general, es más fácil llegar a un acuerdo sobre proyectos atípicos, aquellos que son extremadamente prometedores o extremadamente débiles). Por ejemplo, el Consejo de Investigación en Salud de Nueva Zelanda creó un sistema de lotería para asignar fondos científicos al azar. Los científicos preparan una propuesta completa y cada propuesta que cumple con un conjunto de requisitos básicos se ingresa en la lotería. Por tanto, el azar decide qué iniciativas reciben financiación. 20
Dada la dificultad de predecir los resultados de los proyectos de nivel medio, es probable que la selección aleatoria sea tan eficaz como las conjeturas fundamentadas. Recientemente, la Fundación Nacional de Ciencias de Suiza adoptó esta práctica. Cuando los revisores no pueden ponerse de acuerdo sobre una clasificación de dos o más proyectos de investigación, la clasificación se determina mediante un sorteo aleatorio. 21
Las primeras investigaciones muestran que estos enfoques pueden generar ciencia de igual o mejor calidad que el proceso de selección formal. 22 Por supuesto, es poco probable que tales métodos reemplacen por completo a otros medios de selección, pero pueden proporcionar antídotos útiles al pensamiento convencional.
Etapa comparaciones cara a cara. Cuando las empresas necesitan clasificar un conjunto de ideas, pueden enfrentarlas entre sí en competencias cara a cara. En ajedrez, esto se conoce como una comparación de Elo, llamada así por Arpad Elo, un profesor de física que desarrolló el concepto, pero también existen otras metodologías. En el ajedrez, si derrotas a un buen jugador, subes mucho más alto en la clasificación que si derrotas a un jugador de bajo rango. La fuerza de la competencia importa. Las organizaciones pueden aplicar esa misma lógica para seleccionar ideas novedosas. Al comparar solo dos ideas entre sí y repetir esas comparaciones en otras combinaciones, las empresas pueden desarrollar una clasificación de ideas de mejor a peor. Este enfoque simplifica el proceso de evaluación de un conjunto de opciones potencialmente abrumador. 23Por ejemplo, el fabricante de automóviles alemán Smart utilizó un enfoque Elo para ayudarlo a seleccionar entre varios miles de diseños para “pieles” de automóviles de personas de 110 países. 24
De manera similar, Shell utilizó un enfoque de cabeza a cabeza en una competencia de innovación anual que se llevó a cabo de 2013 a 2018 con el objetivo de mejorar la sostenibilidad de la energía, el agua y los alimentos. En 2018, después de recibir más de 1,100 ideas enviadas desde 140 países, la compañía seleccionó 72 de las más prometedoras y luego las evaluó por revisores maestros y un panel externo, que utilizó comparaciones directas hasta que se eligió un ganador final.
Finalmente, una vez que las organizaciones han determinado qué proyectos dar luz verde, pueden tomar acciones que ayuden a los innovadores a desarrollar propuestas más exitosas y ayudar a los tomadores de decisiones a tomar mejores decisiones la próxima vez.
Proporcionar comentarios sobre las propuestas. Los paneles de selección deben proporcionar comentarios específicos sobre todas las propuestas y hacerlos accesibles en toda la organización. Este tipo de comentarios debería ayudar a los creadores de ideas a estructurar mejor las presentaciones futuras, aliviar el posible efecto desmotivador de tener una idea rechazada y aumentar la confianza en que el proceso de decisión es justo. Y, de manera crítica, requerir esta retroalimentación crea un mecanismo de responsabilidad que alentará a los selectores a considerar qué los motivó a rechazar o aceptar un proyecto determinado.
Ericsson ha creado un sistema en línea llamado IdeaBoxes para recopilar y gestionar las ideas de los empleados. Fundamentalmente, el sistema incluye moderadores que son responsables de proporcionar comentarios dentro de un mes de la presentación de una idea y explicar por qué ha sido seleccionada o rechazada. Debido a que estos comentarios son visibles para toda la organización, los empleados pueden aprender de sus propias experiencias y de las de otros. 25
De manera similar, Bristol-Myers Squibb ha realizado cambios significativos en su proceso de selección para aumentar la equidad y la responsabilidad de los tomadores de decisiones. Los comités a cargo de administrar la cartera de medicamentos de la compañía y decidir qué compuestos progresar en la tubería ahora deben comunicar sus decisiones y proporcionar comentarios a los líderes de proyectos de I + D en cuestión de horas. Más importante aún, se les pide a los líderes de proyectos de I + D que completen una encuesta que evalúe no solo el proceso de selección, sino también a cada uno de los miembros individuales del comité. 26
Realice un seguimiento y aprenda de los fracasos. Muy pocas organizaciones llevan a cabo una revisión cuantitativa sistemática de su proceso de selección de I + D. En particular, las organizaciones no logran capturar suficiente información sobre sus fallas. Un gran componente de cultivar la tolerancia al fracaso es mostrar los fracasos y aprender de ellos. Sin dicha información, es difícil saber si los proyectos seleccionados cumplieron con las expectativas o si la organización perdió una oportunidad que finalmente buscó otra entidad.
Al monitorear los resultados del proceso de selección, tanto los éxitos como los fracasos, es posible evaluar qué tan bien funciona el proceso de selección actual. Dicho análisis revelará no solo si el proceso puede identificar ideas de alto valor, sino también si el conjunto de proyectos y / o creadores refleja plenamente la amplia gama de talentos y habilidades de la organización, y si los paneles de selección son demasiado reacios al riesgo.
Nadie quiere ser el que toma las decisiones y traspasó una buena inversión, como el socio principal de la firma de capital de riesgo Bessemer Venture Partners, quien aconsejó a uno de los fundadores de Facebook: “Chico, ¿no has oído hablar de Friendster? Siga adelante. ¡Se acabó!” 27 Del mismo modo, los ejecutivos de Bic que dieron luz verde a un bolígrafo para mujeres que, como era de esperar, fracasaron en el mercado, casi con certeza se arrepintieron. 28Pero siempre habrá algunos aciertos y algunos errores en el proceso de evaluación de proyectos de innovación para su financiación. Nuestra investigación muestra que al comprender los posibles obstáculos y mejorar el proceso, las empresas pueden tomar decisiones más inteligentes y generar mejores resultados. La innovación siempre será difícil de evaluar, pero al crear un proceso más abierto, fluido y colaborativo, las organizaciones pueden detectar las verdaderas pepitas de oro entre las rocas.
REFERENCIAS (28)
1. H. Davies, “The Beatles: The Authorized Biography” (Nueva York: McGraw-Hill, 1968).
2. J. Bloom, “Órbitas excéntricas: La historia del iridio” (Nueva York: Grove Atlantic, 2016).
3. S. Harvey y JS Mueller, “Mantenerse vivo: Hacia un modelo de consenso divergente para superar un sesgo en contra de la novedad en los grupos”, Organization Science 32, no. 2 (marzo-abril de 2021): 293-314.
4. P. Criscuolo, L. Dahlander, T. Grohsjean, et al., “Evaluación de la novedad: el papel de los paneles en la selección de proyectos de I + D”, Academy of Management Journal 60, no. 2 (abril de 2017): 433-460.
5. M. Reitzig y O. Sorenson, “Sesgos en la etapa de selección de la formulación de estrategias de abajo hacia arriba”, Strategic Management Journal 34, no. 7 (julio de 2013): 782-799; y Criscuolo et al., “Evaluating Novelty”, 433-460.
6. D. Fehder y F. Murray, “Evaluación de empresas en etapa inicial: sesgo en diferentes regímenes de evaluación”, Academy of Management Proceedings 108, no. 1 (agosto de 2018): 477-482.
7. R. Koning, S. Samila y J. Ferguson, “Inventor Gender and the Direction of Invention”, AEA Papers and Proceedings 110 (mayo de 2020): 250-254.
8. R. Cao, RM Koning y R. Nanda, “Biased Sampling of Early Users and the Direction of Startup Innovation”, documento de trabajo 28882, Oficina Nacional de Investigación Económica, Cambridge, Massachusetts, junio de 2021.
9. KJ Boudreau, EC Guinan, KR Lakhani, et al., “Mirar a través y más allá de la frontera del conocimiento: distancia intelectual, novedad y asignación de recursos en la ciencia”, Management Science 62, no. 10 (octubre de 2016): 2765-2783.
10. S. Danziger, J. Levav y L. Avnaim-Pesso, “Factores externos en las decisiones judiciales”, Actas de la Academia Nacional de Ciencias de los Estados Unidos de América 108, no. 17 (Abril de 2011): 6889-6892.
11. P. Criscuolo, L. Dahlander, T. Grohsjean, et al., “ El efecto de secuencia en las decisiones del panel: evidencia de la evaluación de proyectos de investigación y desarrollo ”, Ciencia de la organización 32, no. 4 (julio-agosto de 2021): 987-1008.
12. R. Tamblyn, N. Girard, CJ Qian, et al., “Evaluación del sesgo potencial en la revisión por pares de subvenciones de investigación en Canadá”, Canadian Medical Association Journal 190, no. 16 (abril de 2018): E489-E499.
13. J. Kolev, Y. Fuentes-Medel y F. Murray, “Is Blinded Review Enough? How Gendered Outcomes Arise Even Under Anonymous Evaluation ”, documento de trabajo 25759, Oficina Nacional de Investigación Económica, Cambridge, Massachusetts, abril de 2019.
14. “ Innovación en DARPA ”, archivo PDF (Washington, DC: Agencia de Proyectos de Investigación Avanzada de Defensa, 2016), https://www.darpa.mil.
15. C. Bryar y B. Carr, “Trabajando al revés: ideas, historias y secretos del interior de Amazon” (Nueva York: St. Martin’s Press, 2021).
16. CH Loch, FJ Sting, N. Bauer, et al., “Cómo BMW está desactivando la bomba de tiempo demográfica”, Harvard Business Review 88, no. 3 (marzo de 2010): 99-102.
17. KR Lakhani, R. Hutter, SH Pokrywa, et al., “Innovación abierta en Siemens”, caso de Harvard Business School núm. 613-100 (Boston: Harvard Business School Publishing, junio de 2013).
18. “ ¿De qué se tratan las ideas de Lego? Lego, consultado el 28 de junio de 2021, https://ideas.lego.com.
19. “Sandpits”, Engineering and Physical Sciences Research Council, consultado el 28 de junio de 2021, https://epsrc.ukri.org.20. S. Avin, “Mavericks and Lotteries”, Estudios en Historia y Filosofía de la Ciencia Parte A 76 (agosto de 2019): 13-23.
21. DS Chawla, “ Swiss Funder Draws Lots to Make Grant Decisions ”, Nature, 6 de mayo de 2021, www.nature.com.
22. D. Adam, “Los financiadores de la ciencia apuestan por las loterías de subvenciones”, Nature 575, no. 7785 (noviembre de 2019): 574-575.
23. J. Herlocker, JA Konstan, LG Terveen, et al., “Evaluación de sistemas de recomendación de filtrado colaborativo”, ACM Transactions on Information Systems 22, no. 1 (Enero de 2004): 5-53.
24. J. Füller, K. Möslein, K. Hutter, et al., “Juegos de evaluación: cómo hacer que la multitud sea su jurado”, en “Actas de la ciencia del servicio — Neue Perspektiven für die Informatik. Lecture Notes in Informática (LNI): Actas, Serie de Gesellschaft für Informatik, vol. P-175 ”, ed. K.-P. Faehnrich y F. Bogdan (Leipzig, Alemania: Springer, 2010), 955-960.
25. M. Beretta, “Selección de ideas en sistemas de ideación habilitados para la web”, Journal of Product Innovation Management 36, no. 3 (enero de 2018): 5-23.
26. P. Tollman, V. Panier, D. Dosik, et al., ” Liberar la productividad en la I + D biofarmacéutica: la clave para un rendimiento superior “, archivo PDF (Boston Consulting Group y Bristol-Myers Squibb, 2016), www.bcg. com.
27. “ The Anti-Portfolio ”, Bessemer Venture Partners, consultado el 15 de julio de 2021, www.bvp.com.
28. C. Sieczkowski, ” Bic Pens ‘For Her’ Get Hilantly Snarky Amazon Reviews “, HuffPost, 30 de agosto de 2012, www.huffpost.com.
Fecha original de publicación: 07 Dic 2021