01
Noticias y novedades
Ordenadas por impacto en decisiones de dirección dentro de cada día. Lo técnico y operativo va al final, listado y breve.
Viernes 19 de septiembre
01Decisión de dirección
Tres personas entran en OpenAI con una suscripción de 200 $ al mes
Tres investigadores de una startup llamada Hacktron AI encadenaron dos vulnerabilidades críticas
dentro del programa de bug bounty de OpenAI: tomaron el control de cuentas de ChatGPT de empleados y
llegaron hasta un repositorio interno de código antes de reportarlo todo. OpenAI lo corrigió y pagó 6.500 $.
La puerta de entrada no fue OpenAI: fue su foro de comunidad, montado sobre software de terceros
(Discourse), con un fallo en el procesamiento de imágenes HEIF/HEIC. Ese fallo ya estaba corregido meses
antes por los desarrolladores de la librería, pero la corrección nunca se registró con un número CVE
—el estándar de la industria para llevar la cuenta—, así que la versión vulnerable siguió funcionando.
Por qué es importante para ti — lectura del recap, no tesis de Pedro
Dos cosas que un comité de dirección puede accionar el lunes, y ninguna es comprar una herramienta.
Una: el perímetro real de tu empresa no es tu producto, es tu lista de proveedores. Aquí entraron
por un foro de comunidad, no por el sistema que todo el mundo audita. La pregunta de gobernanza no es
“¿estamos parcheados?” sino “¿quién mantiene la lista de lo que usamos, y qué pasa cuando un fallo se
arregla pero nadie lo anuncia?”. Un parche sin CVE es un parche que tu proveedor no va a aplicar.
Dos, y más incómoda: el mismo equipo, con el mismo problema delante, no consiguió el ataque con la
versión anterior del modelo tras varias sesiones. Con la siguiente lo logró en horas. Eso significa que el
coste de atacarte baja por decisiones que no tomas tú, en fechas que no controlas. Cualquier evaluación de
riesgo con horizonte anual nace caducada.
Ángulos
- The AI Colony: lo cuenta como el retrato del estado de la seguridad en IA ahora mismo —trabajo
que antes llevaba meses, ahora días— y cierra con la pregunta de si tres personas pueden hacer esto, qué
puede hacer un Estado.
- Mohan Pedhapati (Hacktron), citado por el boletín: la IA reduce la cantidad de expertise
escaso que hace falta.
- Matt Fredrikson (Gray Swan), citado: por 200 $ al mes cualquiera puede atacar a una empresa
como OpenAI; si le puede pasar a ellos, le puede pasar a cualquiera.
6.500 $ de recompensa · 200 $/mes de suscripción · el salto está entre
Opus 4.8 (versión para investigadores de ciberseguridad, no lo logró) y Opus 5 (lo logró en
horas) — según The AI Colony, que atribuye la exclusiva a The Wall Street Journal Sin verificar
Ampliar lectura
02Gobernanza
Hay 6.000 modelos de IA con las salvaguardas arrancadas, y están para descargar
Existe una técnica llamada abliteration que quita los mecanismos de seguridad de un modelo abierto:
le retira la capacidad de negarse a una petición dañina. Hugging Face lista más de 6.000 modelos así.
Baseten lanzó el miércoles, con su brazo de investigación Base Labs, un estándar de infraestructura de
seguridad junto a Hugging Face y Goodfire AI, con herramientas de evaluación y monitorización específicas
para modelos de pesos abiertos.
Por qué es importante para ti — lectura del recap, no tesis de Pedro
Esto es la letra pequeña del “nos lo montamos en local para no mandar datos fuera”, que es hoy el
argumento favorito de cualquier comité que desconfía de la nube. Montártelo en casa resuelve el problema de
dónde viven tus datos y abre otro: estás metiendo en tu red un modelo cuyo comportamiento no auditó
nadie, descargado de un repositorio donde miles de copias vienen con los frenos ya quitados.
La decisión concreta que toca: quién de tu organización aprueba qué modelo entra, con qué criterio y
dejando constancia. Si la respuesta es “el que lo bajó”, no tienes política de IA, tienes una carpeta de
descargas.
Ángulos
- The AI Colony: el problema es mayor de lo que se cree y no es teórico —son miles de modelos ya
disponibles—, pero deja abierto si esto será un estándar de industria o una iniciativa bien financiada que
se apaga sin ruido.
- Baseten, citado desde X: la apertura es una ventaja para la seguridad, porque da más
visibilidad sobre cómo se comporta un modelo que los sistemas cerrados.
- Goodfire, citado: la seguridad debe ir construida dentro del modelo abierto y la deben aportar
quienes lo sirven.
Más de 6.000 modelos abliterados en Hugging Face · Baseten levantó una
Serie F de 1.500 M$ en junio con valoración de 13.000 M$; Goodfire, una Serie B de 150 M$
liderada por B Capital · los detalles técnicos del acuerdo no se han hecho públicos — según The AI Colony
Sin verificar
Ampliar lectura
03Coste
Un modelo que no habla: devuelve probabilidades, no párrafos
Diogo Almeida, que participó en la construcción de ChatGPT y co-inventó el aprendizaje por refuerzo con
retroalimentación humana, dejó OpenAI hace dos años y fundó TypeSafe AI. Esta semana han lanzado Jev,
que no es un modelo de lenguaje: no produce texto. Produce probabilidades, lo que la empresa llama
“decisiones calibradas”. Como el usuario define de antemano las salidas posibles, no puede alucinar. Los
tokens de salida son gratis y los de entrada se cobran por miles de millones en lugar de por millones.
Por qué es importante para ti — lectura del recap, no tesis de Pedro
Es la noticia más técnica de hoy y aun así es de cuenta de resultados, porque toca las dos objeciones que
frenan los proyectos en sala: “¿y si se lo inventa?” y “¿cuánto nos va a costar esto al mes?”.
Clasificar, priorizar, enrutar y puntuar es la mayoría del trabajo real de IA en una empresa mediana
—correos, facturas, incidencias, candidaturas—, y para eso nadie necesita prosa: necesita un número. Un
número se audita con un umbral (“por debajo de 0,9 lo mira una persona”), y eso es un control que puedes
escribir en un procedimiento. Un párrafo convincente, no.
La trampa, dicha por uno de los propios usuarios: el modelo te delega a ti el problema de la
incertidumbre. Si te devuelve 50 %, es una moneda al aire y alguien tiene que haber decidido antes qué se
hace con eso.
Ángulos
- The AI Colony: el nombre viene de Jevons, el economista de la paradoja de que abaratar algo
aumenta su uso; la apuesta de Almeida es inteligencia barata desplegada por todas partes, más parecido al
internet temprano que a las mega apps de ahora.
- Un ingeniero de Vercel, citado: cambió un clasificador de seguridad a Jev y fue entre 5 y 18
veces más rápido con mejor precisión.
- El CTO de Bryo AI, citado: Gemini algo más preciso clasificando correos de empresa, pero entre
10 y 20 veces más caro; lo que más le entusiasmó fue recibir una probabilidad real.
- Armin Ronacher (Earendil), citado: el modelo delega la alucinación al usuario.
TypeSafe se quedó brevemente sin capacidad de servir por API por exceso de demanda ·
Almeida, preguntado por si son un laboratorio frontera, responde que el producto principal de esos
laboratorios es miedo o hype — según The AI Colony Sin verificar
Ampliar lectura
04Técnico / consumo
Los asistentes ya llaman por teléfono
Instinct (con una función llamada Concierge) y Muse, de Meta, añadieron la capacidad de hacer llamadas
telefónicas con horas de diferencia: reservar en el restaurante que no coge reservas online, entrar en la
lista de cancelaciones del dentista, pelearse con la factura del cable. De momento solo para negocios de
Estados Unidos. Instinct levantó 350 M$ con valoración de 2.500 M$ el mes pasado y se habla de otros 1.000 M$
a 10.000 M$; Muse superó las 730.000 descargas en EE. UU. en sus cinco primeros días.
Sin verificar
Para ti, poco: mercado de consumo, en EE. UU. y sin traslación a la PYME española. Se lista por
completitud. La única lectura aprovechable es de posicionamiento —la competencia ya no se juega en qué modelo
es más listo, sino en cuántas gestiones reales resuelve—, y esa tesis ya la sostienes: no hace falta esta
noticia para defenderla.
Ampliar lectura
Sábado 20 de septiembre
Sin noticias. El único correo del sábado es promoción de formación (Growit School) y
está en la sección 3 — con un dato que te conviene mirar, porque toca una decisión que tienes abierta.