10X: Se realiz\u00f3 un seguimiento del muestreo durante 10 iteraciones.<\/li>\n<\/ul>\n\n\n\nEsto dio como resultado un total de doce experimentos diferentes (3 multimuestras \u00d7 4 condiciones), lo que gener\u00f3 m\u00e1s de 5700 filas de datos para su an\u00e1lisis. Los datos se extrajeron, recopilaron y analizaron exhaustivamente para determinar patrones, precisi\u00f3n, consistencia y variaciones en las respuestas en las diferentes condiciones.<\/p>\n\n\n\n
C\u00f3mo rastreamos una empresa<\/h3>\n\n\n\n En todas nuestras pruebas, medimos tanto la identidad de la marca como la del sitio web. Validamos las marcas y los sitios web para garantizar que sean reales y no manipulados por la IA. Si bien se eliminaron la mayor\u00eda de los resultados manipulados, en algunos gr\u00e1ficos agregados, no excluimos intencionalmente una o dos empresas gen\u00e9ricas o ficticias para demostrar su posicionamiento. En estas circunstancias, identificamos estas anomal\u00edas para comparar su frecuencia de aparici\u00f3n con la de las empresas reales.<\/p>\n\n\n\n
Definici\u00f3n de rango en ChatGPT<\/h3>\n\n\n\n Luego, definimos la clasificaci\u00f3n en ChatGPT seg\u00fan la primera aparici\u00f3n. El resultado se presentaba generalmente en formato de oraci\u00f3n natural, con los resultados representados en una lista que inclu\u00eda el nombre de la empresa y el sitio web (si estaba disponible).<\/p>\n\n\n\n
Los chatbots como ChatGPT utilizan entradas basadas en indicaciones y generalmente brindan respuestas de texto en forma de texto estructurado, a diferencia de los motores de b\u00fasqueda, que tradicionalmente definen los resultados de b\u00fasqueda en un formato de lista.<\/p>\n\n\n\n
Dado que las preguntas que hacemos son sobre dentistas en Las Vegas, ChatGPT proporcion\u00f3 m\u00faltiples respuestas y las estructur\u00f3 en una lista para nosotros.<\/p>\n\n\n\n
Versi\u00f3n de GPT<\/h3>\n\n\n\n Todas las pruebas se realizaron con chatgpt-4o-latest<\/code>La versi\u00f3n del modelo siempre se conecta a la \u00faltima versi\u00f3n de GPT-4o utilizada en ChatGPT. Las pruebas finales se realizaron en septiembre y octubre de 2024. Los resultados futuros pueden variar ya que ChatGPT-4o se actualiza con frecuencia.<\/p>\n\n\n\nResultados del muestreo iterativo 50X<\/h2>\n\n\n\n El objetivo de esta prueba fue adquirir la apariencia de un negocio, en este caso una cl\u00ednica dental, mediante 50 solicitudes y midiendo la apariencia resultante de los nombres de los negocios y su sitio web. Las pruebas se realizaron con una herramienta de validaci\u00f3n de negocios y sitios web personalizada, que evalu\u00f3 cada nombre y sitio web devuelto por la IA.<\/p>\n\n\n\n
50X ChatGPT sin navegaci\u00f3n web<\/h3>\n\n\n\n Apariencia de la marca en 50 muestras sin navegaci\u00f3n web<\/strong> ( Gr\u00e1fico 1<\/strong> ): Este gr\u00e1fico ilustra la superposici\u00f3n en las recomendaciones de marca sin navegaci\u00f3n en 50 muestras, mostrando nombres de empresas repetidos en cada muestra. El eje Y corresponde a la posici\u00f3n de una marca en la lista devuelta por GPT-4o, mientras que el eje X muestra la iteraci\u00f3n en tiempo de ejecuci\u00f3n.<\/p>\n\n\n\nGr\u00e1fico 1: Rango 50X (eje y) vs. Iteraci\u00f3n (eje x)<\/figcaption><\/figure>\n\n\n\nPodemos observar que la apariencia de una marca, en 50 iteraciones, parece bastante dispersa, sin una cohesi\u00f3n aparente entre la marca y c\u00f3mo GPT-4o la muestra en los resultados. Aqu\u00ed, la clasificaci\u00f3n se determina como la posici\u00f3n en la lista de resultados devueltos por GPT-4o. Una empresa que obtuvo una alta clasificaci\u00f3n en una iteraci\u00f3n puede tener una clasificaci\u00f3n baja o inexistente en la siguiente.<\/p>\n\n\n\nGr\u00e1fico 2: Clasificaci\u00f3n 50X (eje y) vs. Marca (eje x)<\/figcaption><\/figure>\n\n\n\nEn\u00a0el Gr\u00e1fico 2<\/strong>\u00a0, comparamos las clasificaciones (promedio, alto, bajo) de seis marcas seleccionadas al azar. Observamos una gran discrepancia entre las clasificaciones altas y bajas. No parece haber un orden espec\u00edfico al calcular las cifras, ya que se eliminaron los valores cero. De lo contrario, los promedios reales en 50 iteraciones ser\u00edan mucho menores, ya que la aleatoriedad de los resultados hace que las marcas aparezcan con poca frecuencia, como se observa en el Gr\u00e1fico 1. En el caso de Stunning Smiles, el promedio coincide con los de bajo y alto, ya que solo apareci\u00f3 una vez en 50 iteraciones.<\/p>\n\n\n\nGr\u00e1fico 3: Marca 50X (eje y) vs. Apariencia (eje x)<\/figcaption><\/figure>\n\n\n\nEl gr\u00e1fico 3 muestra que, a pesar de la aleatoriedad, la frecuencia de aparici\u00f3n de un sitio web sigue generando una curva de gradiente, donde un peque\u00f1o n\u00famero de sitios aparece con mucha m\u00e1s frecuencia que la mayor\u00eda. La lista completa ser\u00eda mucho m\u00e1s larga, pero estas son las apariciones m\u00e1s frecuentes que se muestran en el gr\u00e1fico.<\/p>\n\n\n\n
Nota sobre las alucinaciones: Cabe destacar que mantuvimos \u00abDentistas de Las Vegas\u00bb y \u00abDentista de Las Vegas\u00bb, entre otros, en el Gr\u00e1fico 3 para poder observar la frecuencia de entidades dentales falsas o inventadas. La mayor\u00eda de estas entradas falsas ten\u00edan un d\u00edgito bajo y se eliminaron durante el an\u00e1lisis de datos.<\/p>\n\n\n\n
Aplicaciones en el mundo real<\/h3>\n\n\n\n En aplicaciones pr\u00e1cticas, ChatGPT sin navegaci\u00f3n web puede encontrarse no solo mediante el uso de la API, sino tambi\u00e9n en ciertas instancias de la aplicaci\u00f3n. Por ejemplo, con la navegaci\u00f3n desactivada, modelos como ChatGPT-o1, ChatGPT 3.5 o GPT personalizados con navegaci\u00f3n web desactivada siguen sin tener acceso al contenido web (al momento de escribir este art\u00edculo). La mayor\u00eda de los usuarios de pago de ChatGPT experimentar\u00e1n cierto nivel de navegaci\u00f3n web; por lo tanto, tambi\u00e9n presentamos ejemplos de b\u00fasquedas de navegaci\u00f3n web a continuaci\u00f3n.<\/p>\n\n\n\n
ChatGPT 50X con b\u00fasqueda en la web<\/h3>\n\n\n\n Apariencia de marca para 50 muestras con b\u00fasqueda mediante navegaci\u00f3n web (gr\u00e1fico 4)<\/strong> : este gr\u00e1fico muestra c\u00f3mo la navegaci\u00f3n web influy\u00f3 en la variedad de empresas recomendadas, lo que permiti\u00f3 a GPT-4o brindar recomendaciones m\u00e1s nuevas.<\/p>\n\n\n\nGr\u00e1fico 4: Rango 50X (eje y) vs. Iteraci\u00f3n (eje x)<\/figcaption><\/figure>\n\n\n\nLa b\u00fasqueda web proporciona a GPT-4o resultados de Bing para que disponga de datos en tiempo real. Hemos comprobado que proporcionar resultados de Bing tiene un gran impacto en el posicionamiento de cada empresa. Hemos observado que, en m\u00e1s de 50 muestras, los posicionamientos tienden a ser mucho m\u00e1s estables que sin navegaci\u00f3n web, ya que GPT-4o asume los resultados de Bing con una ponderaci\u00f3n significativa de los sitios que considera en sus resultados.<\/p>\n\n\n\nGr\u00e1fico 5: Clasificaci\u00f3n 50X (eje y) vs. Marca (eje x)<\/figcaption><\/figure>\n\n\n\nEl Gr\u00e1fico 5, \u00abApariencia de marca para 50 muestras con b\u00fasqueda web\u00bb,<\/strong>\u00a0destaca el impacto positivo de los datos en tiempo real en la calidad de las recomendaciones, incluyendo empresas populares que podr\u00edan no haber estado en el conjunto de entrenamiento original de GPT-4o. Con muy pocas excepciones, observamos menos cambios entre las clasificaciones bajas y altas, lo que tambi\u00e9n estabiliz\u00f3 las posiciones promedio.<\/p>\n\n\n\nGr\u00e1fico 6: Marca 50X (eje y) vs. Apariencia (eje x)<\/figcaption><\/figure>\n\n\n\nAl analizar los resultados de un muestreo de 50 veces con resultados de b\u00fasqueda ( Gr\u00e1fico 6<\/strong> ), observamos una disminuci\u00f3n dr\u00e1stica de la aleatoriedad y una mayor consistencia en las empresas que aparecen. Como era de esperar, la mayor\u00eda parece provenir de los resultados de b\u00fasqueda de Bing.<\/p>\n\n\n\nAplicaciones en el mundo real<\/h3>\n\n\n\n Las funciones de navegaci\u00f3n web ofrecen un modelo m\u00e1s preciso de c\u00f3mo la mayor\u00eda de las personas usan ChatGPT, ya que a\u00f1adir la navegaci\u00f3n web tiene un impacto significativo en los resultados de los datos m\u00e1s recientes. Sin embargo, seg\u00fan nuestros hallazgos, no es la soluci\u00f3n definitiva.<\/p>\n\n\n\n
ChatGPT ir\u00e1 un paso m\u00e1s all\u00e1 al analizar los resultados de b\u00fasqueda y los fragmentos para ofrecer recomendaciones. Por lo tanto, tambi\u00e9n debemos tener en cuenta los casos en que esto ocurre.<\/p>\n\n\n\n
Luego de realizar las pruebas de muestreo, disponemos de una gr\u00e1fica que explica c\u00f3mo se pueden distribuir los resultados entre los diferentes m\u00e9todos.<\/p>\n\n\n\n
50X ChatGPT con lectura de navegaci\u00f3n web<\/h3>\n\n\n\n Apariencia de marca para 50 muestras con lectura en navegaci\u00f3n web (gr\u00e1fico 7)<\/strong> : un vistazo a c\u00f3mo habilitar la lectura ayud\u00f3 a identificar negocios especializados y altamente calificados que, de otro modo, se habr\u00edan pasado por alto.<\/p>\n\n\n\nGr\u00e1fico 7: Rango 50X (eje y) vs. Iteraci\u00f3n (eje x)<\/figcaption><\/figure>\n\n\n\nAl analizar los resultados de las clasificaciones selectivas de Read-In sobre navegaci\u00f3n web, observamos una consistencia similar con solo la navegaci\u00f3n web. Observe que una de las muestras, \u00abSonrisas Impresionantes\u00bb, desapareci\u00f3 completamente de las clasificaciones ocasionalmente.<\/p>\n\n\n\nGr\u00e1fico 8: Clasificaci\u00f3n 50X (eje y) vs. Marca (eje x)<\/figcaption><\/figure>\n\n\n\nLa apariencia de marca para 50 muestras con Read-In de navegaci\u00f3n web (Gr\u00e1fico 8)<\/strong> muestra menciones espec\u00edficas de dentistas especializados y su consistencia en las muestras, tanto en las clasificaciones altas como bajas. En todas las pruebas, observamos que Read-In proporcion\u00f3 los promedios m\u00e1s consistentes, dado que no contabilizamos las iteraciones donde no hubo clasificaci\u00f3n.<\/p>\n\n\n\nEl gr\u00e1fico a continuaci\u00f3n proporciona una mejor idea de la frecuencia de aparici\u00f3n, mientras que el gr\u00e1fico 8 se centra en la frecuencia con la que apareci\u00f3 una empresa cuando hab\u00eda clasificaciones.<\/p>\n\n\n\nGr\u00e1fico 9: Marca 50X (eje y) vs. Apariencia (eje x)<\/figcaption><\/figure>\n\n\n\nLa mayor\u00eda de las marcas que aparecieron en el Gr\u00e1fico 9<\/strong> reaparecieron consistentemente en casi todas las 50 iteraciones. Hubo algunos valores at\u00edpicos donde la marca devuelta por ChatGPT no alcanz\u00f3 nuestro umbral de similitud del 90 %. Por lo tanto, algunas, como Absolute Dental y Boca Dental, aparecer\u00e1n m\u00e1s de una vez.<\/p>\n\n\n\nLectura de navegaci\u00f3n web 50X ChatGPT + variaci\u00f3n de mensaje<\/h3>\n\n\n\n Apariencia de la marca para 50 muestras con lectura de navegaci\u00f3n web + variaci\u00f3n de indicaciones (Gr\u00e1fico 10)<\/strong> : Demuestra c\u00f3mo las variaciones de indicaciones permitieron a GPT-4o diversificar potencialmente sus respuestas. Sin embargo, en nuestro caso, observamos un impacto m\u00ednimo o nulo en los resultados. Para nuestra sorpresa, las variaciones (al menos en la forma en que las presentamos) no resultaron en una gama m\u00e1s amplia de recomendaciones de dentistas.<\/p>\n\n\n\nGr\u00e1fico 10: Rango 50X (eje y) vs. Iteraci\u00f3n (eje x)<\/figcaption><\/figure>\n\n\n\nEn cambio, la mayor\u00eda de las empresas se mantuvieron en sus posiciones. Sin embargo, se recomend\u00f3 un grupo muy diferente de dentistas. No obstante, estas recomendaciones se mantuvieron pr\u00e1cticamente en la misma posici\u00f3n a pesar de las diferencias en las indicaciones. Nuestra teor\u00eda es que podr\u00eda haber alg\u00fan cach\u00e9 subyacente en OpenAI que est\u00e9 analizando indicaciones similares, o quiz\u00e1s buscando resultados similares. Sin embargo, no tenemos forma de determinarlo con certeza.<\/p>\n\n\n\nGr\u00e1fico 11: Clasificaci\u00f3n 50X (eje y) vs. Marca (eje x)<\/figcaption><\/figure>\n\n\n\nApariencia de marca para 50 muestras con lectura de navegaci\u00f3n web + variaci\u00f3n de la indicaci\u00f3n (Gr\u00e1fico 11)<\/strong>\u00a0: Un an\u00e1lisis m\u00e1s detallado de c\u00f3mo la redacci\u00f3n de indicaciones menores influy\u00f3 en el negocio recomendado. Sorprendentemente, las variaciones en las indicaciones no aumentaron la variaci\u00f3n en los resultados, sino que la redujeron.<\/p>\n\n\n\nGr\u00e1fico 12: Marca 50X (eje y) vs. Apariencia (eje x)<\/figcaption><\/figure>\n\n\n\nInvestigamos esto y descubrimos que la variaci\u00f3n del mensaje en s\u00ed tendr\u00eda que ser muy diferente para que existieran diferencias. Por lo tanto, los cambios en la redacci\u00f3n no afectaron los resultados ( Gr\u00e1fico 12<\/strong> ), siempre que el significado sea el mismo. Si cambiar una palabra cambia el significado, los resultados ser\u00edan completamente diferentes. Por otro lado, decir lo mismo de otra manera no alter\u00f3 los resultados.<\/p>\n\n\n\nLo que sucedi\u00f3 fue que los resultados parecieron no tener ninguna \u201cca\u00edda\u201d ya que cada variaci\u00f3n de solicitud se ejecut\u00f3 10 veces y esas 10 no generaron ninguna desviaci\u00f3n adicional en los resultados.<\/p>\n\n\n\nGr\u00e1fico 13: Rango 50X (eje y) vs. Iteraci\u00f3n (eje x)<\/figcaption><\/figure>\n\n\n\nPara profundizar un poco m\u00e1s, quisimos comparar los cuatro m\u00e9todos experimentales para una marca que aparec\u00eda con frecuencia, por lo que elegimos Absolute Dental. Los resultados del\u00a0Gr\u00e1fico 13<\/strong>\u00a0mostraron que las clasificaciones de navegaci\u00f3n web se mantuvieron estables en las pruebas de muestreo que incluyeron navegaci\u00f3n web. Sin embargo, dado que la variaci\u00f3n en la velocidad no result\u00f3 en ninguna clasificaci\u00f3n para Absolute Dental, comparamos otra cl\u00ednica dental en su lugar (\u00a0Gr\u00e1fico 14<\/strong>\u00a0a continuaci\u00f3n).<\/p>\n\n\n\nGr\u00e1fico 14: Clasificaci\u00f3n 50X (eje y) vs. Marca (eje x)<\/figcaption><\/figure>\n\n\n\nDescubrimos que una marca puede experimentar una mayor estabilidad a lo largo de las iteraciones si la navegaci\u00f3n web est\u00e1 activada, pero las clasificaciones pueden variar significativamente seg\u00fan los resultados de b\u00fasqueda o la informaci\u00f3n de Read-In. En cambio, si la navegaci\u00f3n web est\u00e1 desactivada, pueden producirse variaciones en la clasificaci\u00f3n en cada iteraci\u00f3n.<\/p>\n\n\n\nGr\u00e1fico 15: Rango 50X (eje y) vs. Iteraci\u00f3n (eje x)<\/figcaption><\/figure>\n\n\n\nCuando comparamos la b\u00fasqueda de navegaci\u00f3n con la lectura en pantalla + variaci\u00f3n del mensaje, encontramos que los resultados en\u00a0el Gr\u00e1fico 15<\/strong>\u00a0son similares, lo que demuestra a\u00fan m\u00e1s que los resultados de las variaciones del mensaje que no afectan el significado tampoco tendr\u00e1n un peso significativo en las clasificaciones.<\/p>\n\n\n\nGr\u00e1fico 16: Clasificaci\u00f3n 50X (eje y) vs. Marca (eje x)<\/figcaption><\/figure>\n\n\n\nPodemos observar que la navegaci\u00f3n web (con la variaci\u00f3n de la indicaci\u00f3n Read-In+) en el caso de Dee for Dentist ( Gr\u00e1fico 16<\/strong> ) resulta en una mejor clasificaci\u00f3n en comparaci\u00f3n con la b\u00fasqueda por navegaci\u00f3n. Sin embargo, tambi\u00e9n podr\u00eda haber sido cierto que las clasificaciones con la variaci\u00f3n de la indicaci\u00f3n disminuyeron o se desplomaron por completo, como en el caso de Absolute Dental.<\/p>\n\n\n\nHallazgos clave para 50 muestras<\/h2>\n\n\n\n\nMenos superposici\u00f3n de marcas en condiciones de no navegaci\u00f3n<\/strong>\u00a0:\n\n\u201cSin navegaci\u00f3n web\u201d mostr\u00f3 una menor superposici\u00f3n en las marcas recomendadas, como \u201cAbsolute Dental\u201d y \u201cLas Vegas Dental Group\u201d, consistente en los m\u00faltiples mensajes.<\/li>\n\n\n\n Indica acceso limitado a fuentes de informaci\u00f3n RAG (Recuperaci\u00f3n-Generaci\u00f3n Aumentada), lo que resulta en una mayor variaci\u00f3n en los resultados.<\/li>\n<\/ul>\n<\/li>\n\n\n\n Menos diversidad de marcas con b\u00fasqueda en la web<\/strong>\u00a0:\n\nCuando GPT-4o utiliz\u00f3 las capacidades de b\u00fasqueda de navegaci\u00f3n web, las recomendaciones del modelo se limitaron a empresas como \u201cThe Tooth Dental\u201d y \u201cLas Vegas Modern Dentistry\u201d.<\/li>\n\n\n\n Destaca la importancia del acceso en tiempo real a las b\u00fasquedas web para influir en las respuestas del modelo.<\/li>\n<\/ul>\n<\/li>\n\n\n\n Variaci\u00f3n r\u00e1pida y diversidad empresarial<\/strong>\u00a0:\n\nCon las variaciones r\u00e1pidas combinadas con la navegaci\u00f3n web, la diversidad en las recomendaciones en realidad disminuy\u00f3.<\/li>\n\n\n\n Marcas espec\u00edficas como \u201cDee for Dentist\u201d y \u201cSilver State Smiles\u201d aparecieron de forma destacada, lo que sugiere que la redacci\u00f3n no afect\u00f3 la variedad de empresas recomendadas siempre que el significado fuera el mismo.<\/li>\n<\/ul>\n<\/li>\n\n\n\n \u00c9nfasis en los nombres populares<\/strong>\u00a0:\n\nEn todas las condiciones, \u201cAbsolute Dental\u201d apareci\u00f3 de manera consistente, independientemente de las capacidades de navegaci\u00f3n o las variaciones de indicaciones.<\/li>\n\n\n\n Esto sugiere un sesgo inherente hacia marcas conocidas que persiste incluso cuando est\u00e1 habilitada la navegaci\u00f3n en tiempo real.<\/li>\n<\/ul>\n<\/li>\n\n\n\n Efecto de la lectura de la navegaci\u00f3n web<\/strong>\u00a0:\n\n\u201cWith Web-Browsing Read-In\u201d produjo recomendaciones de marca m\u00e1s espec\u00edficas.<\/li>\n\n\n\n Se destacaron proveedores como \u201cCherrington Dental\u201d y \u201cRed Rock Dental\u201d, lo que demuestra que la capacidad de leer contenido web espec\u00edfico gener\u00f3 recomendaciones m\u00e1s alineadas con los dentistas rese\u00f1ados o destacados.<\/li>\n<\/ul>\n<\/li>\n\n\n\n Precisi\u00f3n en los nombres de marca<\/strong>\u00a0:\n\nLas condiciones de navegaci\u00f3n habilitadas proporcionaron nombres comerciales m\u00e1s precisos y completos.<\/li>\n\n\n\n En comparaci\u00f3n con la opci\u00f3n \u00abSin navegaci\u00f3n web\u00bb, se encontraron menos imprecisiones o etiquetas gen\u00e9ricas como \u00abDentista de Las Vegas\u00bb. Esto sugiere que la funci\u00f3n de navegaci\u00f3n web minimiza eficazmente los errores relacionados con los nombres de empresas.<\/li>\n<\/ul>\n<\/li>\n\n\n\n Los gr\u00e1ficos comparativos muestran la coherencia con las capacidades de navegaci\u00f3n<\/strong>\u00a0:\n\nLos gr\u00e1ficos que comparan los resultados en diferentes condiciones indican que la navegaci\u00f3n (tanto la b\u00fasqueda como la lectura) proporciona m\u00e1s consistencia en las respuestas a trav\u00e9s de m\u00faltiples indicaciones, con menos valores at\u00edpicos y menciones m\u00e1s frecuentes de consultorios dentales mejor calificados.<\/li>\n<\/ul>\n<\/li>\n\n\n\n La repetici\u00f3n aumenta con la navegaci\u00f3n<\/strong>\u00a0:\n\nHubo m\u00e1s repetici\u00f3n en los negocios recomendados cuando se habilitaron las capacidades de navegaci\u00f3n.<\/li>\n\n\n\n Por ejemplo, nombres como \u201cLas Vegas Dental Group\u201d aparecieron con mayor frecuencia en las muestras cuando se utiliz\u00f3 la navegaci\u00f3n web, lo que demuestra que el modelo accedi\u00f3 a un rango limitado de fuentes.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\nResultados del muestreo iterativo 100X<\/h2>\n\n\n\n Nuestra investigaci\u00f3n m\u00e1s exhaustiva consisti\u00f3 en probar 100 iteraciones de muestreo con ChatGPT. Si bien no esperamos que nadie utilice las indicaciones de esta manera en la pr\u00e1ctica, el proceso nos ayuda a comprender la fiabilidad y la variabilidad en la forma en que ChatGPT proporciona respuestas.<\/p>\n\n\n\n
Al ejecutar 100 iteraciones, pudimos obtener informaci\u00f3n valiosa sobre ChatGPT que no era posible con ejecuciones m\u00e1s cortas.<\/p>\n\n\n\n
ChatGPT 100X sin navegaci\u00f3n web<\/h3>\n\n\n\n Primero, analizamos la apariencia de la marca para 100 muestras sin navegaci\u00f3n web (Gr\u00e1fico 17)<\/strong> . Este gr\u00e1fico ilustra la frecuencia de las recomendaciones de marca empresarial al utilizar GPT-4o sin navegaci\u00f3n web. Destaca la repetici\u00f3n y la superposici\u00f3n de marcas seleccionadas y su frecuencia de aparici\u00f3n.<\/p>\n\n\n\nGr\u00e1fico 17: Rango 100X (eje y) vs. Iteraci\u00f3n (eje x)<\/figcaption><\/figure>\n\n\n\nA partir de esto, podemos determinar que la dispersi\u00f3n de la visibilidad empresarial, la alta varianza en las clasificaciones y la aparici\u00f3n (o ausencia) de las clasificaciones se distribuyeron a lo largo de las pruebas de muestreo. Adem\u00e1s, indic\u00f3 que, sin navegaci\u00f3n web, GPT-4o necesitaba una muestra amplia para determinar la probabilidad de aparici\u00f3n de una empresa.<\/p>\n\n\n\nGr\u00e1fico 18: Clasificaci\u00f3n 100X (eje y) vs. Marca (eje x)<\/figcaption><\/figure>\n\n\n\nEn el Gr\u00e1fico 18<\/strong> , observamos la variaci\u00f3n en las recomendaciones de marca en 100 muestras sin funcionalidades de navegaci\u00f3n web. Muestra las marcas m\u00e1s recomendadas y su consistencia en las diferentes indicaciones.<\/p>\n\n\n\nNota:<\/strong> Una observaci\u00f3n importante fue el aumento de marcas o sitios web alucinados que aparecieron durante el muestreo 100X. En nuestras pruebas, validamos todos los negocios e incluimos intencionalmente en el gr\u00e1fico los resultados principales agregados, incluso aquellos como \u00abEl dentista en Las Vegas\u00bb y \u00abDentistas de Las Vegas\u00bb, para observar su frecuencia de aparici\u00f3n.<\/p>\n\n\n\nGr\u00e1fico 19: Marca 100X (eje y) vs. Apariencia (eje x)<\/figcaption><\/figure>\n\n\n\nEn el Gr\u00e1fico 19,<\/strong> observamos que, seg\u00fan el conocimiento de la capacitaci\u00f3n interna de ChatGPT, exist\u00eda un sesgo inherente hacia ciertas empresas. Esto se evidencia en el n\u00famero de veces que cada empresa apareci\u00f3 tras la misma solicitud.<\/p>\n\n\n\nChatGPT 100X con b\u00fasqueda web<\/h3>\n\n\n\n El Gr\u00e1fico 20<\/strong> muestra la apariencia de la marca en 100 muestras con b\u00fasqueda web<\/strong> . Este gr\u00e1fico muestra las empresas recomendadas por GPT-4o cuando se habilitaron las funciones de b\u00fasqueda web, mostrando una mayor uniformidad en comparaci\u00f3n con la condici\u00f3n sin navegaci\u00f3n.<\/p>\n\n\n\nGr\u00e1fico 20: Rango 100X (eje y) vs. Iteraci\u00f3n (eje x)<\/figcaption><\/figure>\n\n\n\nPodemos observar que las iteraciones m\u00e1s largas para el muestreo de b\u00fasquedas de navegaci\u00f3n web no arrojaron una diferencia significativa con respecto al muestreo de 50X. La visualizaci\u00f3n detallada de la posici\u00f3n de la marca en 100 muestras destacadas (\u00a0Gr\u00e1fico 21<\/strong>\u00a0) muestra c\u00f3mo ciertas marcas a\u00fan pueden dominar la presencia en ChatGPT. En algunos casos, tambi\u00e9n observamos una gran oscilaci\u00f3n entre las posiciones m\u00e1s altas y m\u00e1s bajas de una marca.<\/p>\n\n\n\nGr\u00e1fico 21: Clasificaci\u00f3n 100X (eje y) vs. Marca (eje x)<\/figcaption><\/figure>\n\n\n\nTambi\u00e9n podemos observar que, curiosamente, las empresas con las mejores clasificaciones promedio son tambi\u00e9n las que dominan cerca de la cima del gr\u00e1fico de aparici\u00f3n (\u00a0Gr\u00e1fico 22<\/strong>\u00a0). Esto demuestra que las clasificaciones m\u00e1s bajas, en el caso de las b\u00fasquedas web, tambi\u00e9n influyen en la frecuencia de aparici\u00f3n.<\/p>\n\n\n\nGr\u00e1fico 22: Marca 100X (eje y) vs. Apariencia (eje x)<\/figcaption><\/figure>\n\n\n\nHemos determinado que los sitios que aparecen con menos frecuencia, especialmente aquellos que disminuyen significativamente, tienen m\u00e1s probabilidades de ser reemplazados por otras opciones. Por lo tanto, observamos una marcada disminuci\u00f3n en la aparici\u00f3n de marcas que aparecen solo ocasionalmente.<\/p>\n\n\n\n
ChatGPT 100X con lectura de navegaci\u00f3n web<\/h3>\n\n\n\n La apariencia de la marca para 100 muestras con lectura de navegaci\u00f3n web (Gr\u00e1fico 23)<\/strong> ilustra c\u00f3mo las recomendaciones de GPT-4o mejoraron en especificidad y precisi\u00f3n al permitir la lectura de art\u00edculos. Muestra la variedad de dentistas recomendados y c\u00f3mo la lectura afect\u00f3 directamente la selecci\u00f3n de empresas.<\/p>\n\n\n\nGr\u00e1fico 23: Rango 100X (eje y) vs. Iteraci\u00f3n (eje x)<\/figcaption><\/figure>\n\n\n\nUna observaci\u00f3n importante es la magnitud de los cambios en los resultados cuando cambia el contenido de la fuente. \u00bfA qu\u00e9 nos referimos con esto? Pudimos probar las condiciones que pueden darse durante periodos prolongados cuando la navegaci\u00f3n web devuelve diferentes conjuntos de fuentes.<\/p>\n\n\n\n
El material original puede cambiar por varios motivos:<\/p>\n\n\n\n
\nCambios en la competencia.<\/strong>\u00a0Por ejemplo, Sonrisas Impresionantes (Stunning Smiles) pod\u00eda haber tenido una buena clasificaci\u00f3n en Bing, pero ahora se enfrenta a una mayor competencia de cl\u00ednicas dentales similares.<\/li>\n\n\n\nCambios en los algoritmos de b\u00fasqueda,<\/strong>\u00a0que afectan los resultados devueltos por el motor de b\u00fasqueda.<\/li>\n\n\n\nActualizaciones del material original.<\/strong>\u00a0Por ejemplo, si se elimin\u00f3 Sonrisas Impresionantes de la lista de dentistas recomendados.<\/li>\n\n\n\nCambios en la propia empresa.<\/strong>\u00a0Por ejemplo, si la empresa cerr\u00f3, se fusion\u00f3 o modific\u00f3 su oferta de servicios, lo que afecta su aparici\u00f3n en los resultados de b\u00fasqueda.<\/li>\n<\/ol>\n\n\n\nObservamos cambios dr\u00e1sticos en las clasificaciones de los resultados de ChatGPT cuando esto ocurre. Dado que ChatGPT con navegaci\u00f3n web se basa en datos de origen, los cambios en las propias fuentes pueden tener un impacto irreversible en algunas marcas durante la prueba de muestreo.<\/p>\n\n\n\n
Adem\u00e1s de descubrir c\u00f3mo pueden aparecer o desaparecer las marcas, el gr\u00e1fico 24 sobre la apariencia de marca de 100 muestras con lectura de navegaci\u00f3n web<\/strong> muestra un an\u00e1lisis detallado de las menciones de proveedores de nicho cuando se habilit\u00f3 la lectura, lo que indica un mayor acceso a proveedores con buenas rese\u00f1as pero menos conocidos.<\/p>\n\n\n\nGr\u00e1fico 24: Clasificaci\u00f3n 100X (eje y) vs. Marca (eje x)<\/figcaption><\/figure>\n\n\n\nObservamos que las diferencias entre las clasificaciones altas y bajas eran m\u00ednimas al eliminar las inapariciones (es decir, eliminar las muestras donde la clasificaci\u00f3n era nula). Esto demuestra que, mientras la fuente permanezca igual, las clasificaciones son estables. Sin embargo, si la fuente analizada cambia, podemos esperar una fluctuaci\u00f3n dr\u00e1stica en las clasificaciones.<\/p>\n\n\n\nGr\u00e1fico 25: Marca 100X (eje y) vs. Apariencia (eje x)<\/figcaption><\/figure>\n\n\n\nEn general, podemos ver en el Gr\u00e1fico 25 que las empresas que permanecieron incluso despu\u00e9s de los cambios de fuente mantuvieron sus recuentos de apariciones, mientras que aquellas que ya no aparec\u00edan vieron reducido dr\u00e1sticamente sus recuentos de apariciones.<\/p>\n\n\n\n
Lectura de navegaci\u00f3n web 100X ChatGPT + variaci\u00f3n de mensaje<\/h3>\n\n\n\n El gr\u00e1fico 26<\/strong> muestra la apariencia de la marca para 100 muestras con lectura de navegaci\u00f3n web + variaci\u00f3n de solicitud<\/strong> : este gr\u00e1fico destaca c\u00f3mo las variaciones de solicitud afectaron las recomendaciones de marca en 100 muestras.<\/p>\n\n\n\n