Les derniers plans annonces par Sam Altman - CEO OpenAI

‍

Les projets d'OpenAI selon Sam Altman

‍

Fin Mai, Sam Altman et 20 autres développeurs ont discuté des API d'OpenAI et de leurs projets de produits. Sam était remarquablement ouvert. La discussion a porté sur des problèmes de développeur pratiques ainsi que sur des questions plus globales liées à la mission d'OpenAI et à l'impact sociétal de l'IA. Voici les points clés à retenir :

1. OpenAI est actuellement fortement limité par les GPU

Un thème commun qui est ressorti tout au long de la discussion est que, actuellement, OpenAI est extrêmement limité par les GPU, ce qui retarde bon nombre de leurs plans à court terme. La plus grande plainte des clients concernait la fiabilité et la rapidité de l'API. Sam a reconnu leur préoccupation et a expliqué que la majeure partie du problème était due à une pénurie de GPU.

Le contexte plus long de 32k ne peut pas encore être déployé à plus de personnes. OpenAI n'a pas encore surmonté le passage à l'échelle O(n^2) de l'attention et donc, même s'il semblait plausible qu'ils auraient bientôt des fenêtres de contexte de 100k à 1M de tokens (cette année), tout ce qui serait plus grand nécessiterait une percée en recherche.

L'API de fine-tuning est également actuellement limitée par la disponibilité des GPU. Ils n'utilisent pas encore des méthodes de fine-tuning efficaces comme Adapters ou LoRa et donc le fine-tuning est très gourmand en calculs pour être exécuté et géré. Un meilleur support pour le fine-tuning viendra à l'avenir. Ils pourraient même héberger un marché de modèles contribués par la communauté.

L'offre de capacité dédiée est limitée par la disponibilité des GPU. OpenAI offre également une capacité dédiée, qui fournit aux clients une copie privée du modèle. Pour accéder à ce service, les clients doivent être prêts à s'engager à dépenser 100k $ à l'avance.

2. La feuille de route à court terme d'OpenAI

Sam a partagé ce qu'il voyait comme la feuille de route à court terme d'OpenAI pour l'API.

2023 :

GPT-4 moins cher et plus rapide : C'est leur priorité absolue. En général, l'objectif d'OpenAI est de réduire le "coût de l'intelligence" autant que possible et ils travailleront donc dur pour continuer à réduire le coût des API au fil du temps.Fenêtres de contexte plus longues : Des fenêtres de contexte allant jusqu'à 1 million de tokens sont plausibles dans un avenir proche.API de fine-tuning : L'API de fine-tuning sera étendue aux derniers modèles, mais la forme exacte de cela sera déterminée par ce que les développeurs indiquent qu'ils veulent vraiment.Une API avec état : Lorsque vous appelez l'API de chat aujourd'hui, vous devez passer à plusieurs reprises par le même historique de conversation et payer pour les mêmes tokens encore et encore. Dans le futur, il y aura une version de l'API qui se souvient de l'historique de la conversation.

2024 :

Multimodalité : Cela a été démontré dans le cadre de la sortie de GPT-4, mais ne peut être étendu à tout le monde qu'après l'arrivée de plus de GPU.

3. Les plugins "n'ont pas de PMF" et ne seront probablement pas ajoutés à l'API de sitôt

‍Beaucoup de développeurs sont intéressés par l'accès aux plugins ChatGPT via l'API, mais Sam a dit qu'il ne pensait pas qu'ils seraient lancés de sitôt. L'utilisation des plugins, autre que pour la navigation, suggère qu'ils n'ont pas encore de PMF. Il a suggéré que beaucoup de gens pensaient qu'ils voulaient que leurs applications soient à l'intérieur de ChatGPT, mais ce qu'ils voulaient vraiment, c'était ChatGPT dans leurs applications.

         4. OpenAI évitera de faire concurrence à ses clients, sauf avec ChatGPT

‍Pas mal de développeurs ont dit qu'ils étaient nerveux à l'idée de construire avec les API d'OpenAI quand OpenAI pourrait finir par lancer des produits qui leur sont concurrentiels. Sam a dit qu'OpenAI ne lancerait pas plus de produits au-delà de ChatGPT. Il a dit qu'il y avait une histoire de grandes entreprises de plateformes ayant une application phare et que ChatGPT leur permettrait de rendre les API meilleures en étant clients de leur propre produit. La vision pour ChatGPT est d'être un assistant super intelligent pour le travail, mais il y aura beaucoup d'autres cas d'utilisation de GPT qu'OpenAI ne touchera pas.

         5. La régulation est nécessaire, mais l'open source aussi

Alors que Sam appelle à la régulation des futurs modèles, il ne pense pas que les modèles existants soient dangereux et estime qu'il serait une grave erreur de les réguler ou de les interdire. Il a réitéré sa croyance en l'importance de l'open source et a dit qu'OpenAI envisageait de rendre GPT-3 open source. Une partie de la raison pour laquelle ils n'ont pas encore fait de l'open source est qu'il était sceptique quant au nombre de personnes et d'entreprises qui auraient la capacité d'héberger et de servir de grands LLM.

       6. Les lois de l'échelle sont toujours en vigueur

Récemment, de nombreux articles ont affirmé que "l'ère des grands modèles d'IA est déjà terminée". Ce n'était pas une représentation précise de ce qui était meant.

Les données internes d'OpenAI suggèrent que les lois de l'échelle pour la performance des modèles continuent de tenir et que le fait de rendre les modèles plus grands continuera à améliorer les performances. Le taux d'échelle ne peut pas être maintenu parce qu'OpenAI a rendu les modèles des millions de fois plus grands en seulement quelques années et que cela ne sera pas durable à l'avenir. Cela ne signifie pas qu'OpenAI n'essaiera pas de continuer à rendre les modèles plus grands, cela signifie juste qu'ils doubleront ou tripleront probablement de taille chaque année plutôt que d'augmenter de plusieurs ordres de grandeur.

Le fait que l'échelle continue de fonctionner a des implications significatives pour les délais de développement de l'AGI. L'hypothèse de l'échelle est l'idée que nous avons peut-être déjà en place la plupart des éléments nécessaires pour construire une AGI et que la majeure partie du travail restant consistera à prendre les méthodes existantes et à les monter en échelle vers des modèles plus grands et des ensembles de données plus importants. Si l'ère de l'échelle était terminée, nous devrions probablement nous attendre à ce que l'AGI soit beaucoup plus éloignée. Le fait que les lois de l'échelle continuent de tenir est fortement suggestif de délais plus courts.

‍

---

Notes Pele mele qui ont permis de générer cet article - Principales citations fournies par Sam Altman et 20 developpeurs lors d'une conférence dans la Silicon Valley fin Mai

‍

idée 1 

> He reiterated his belief in the importance of open source and said that OpenAI was considering open-sourcing GPT-3. Part of the reason they hadn’t open-sourced yet was that he was skeptical of how many individuals and companies would have the capability to host and serve large LLMs.

‍

idée 2

> Cheaper and faster GPT-4 — This is their top priority. In general, OpenAI’s aim is to drive “the cost of intelligence” down as far as possible and so they will work hard to continue to reduce the cost of the APIs over time.this certainly aligns with the massive (albeit subjective and anecdotal) degradation in quality i've experienced with ChatGPT GPT-4 over the past few weeks.

hopefully a superior (higher quality) alternative surfaces before its unusable. i'm not considering continuing my subscription at this rate.

‍

idée 3 

> is limited by GPU availability.Which is all the more curious, considering OpenAI said this only in January:

> Azure will remain the exclusive cloud provider for all OpenAI workloads across our research, API and products [1]

So... OpenAI is severely GPU constrained, it is hampering their ability to execute, onboard customers to existing products and launch products. Yet they signed an agreement not to just go rent a bunch of GPU's from AWS???

Did someone screw up by not putting a clause in that contract saying "exclusive cloud provider, unless you cannot fulfil our requests"?

[1]: https://openai.com/blog/openai-and-microsoft-extend-partners...

There's an interesting recent video here from Microsoft discussing Azure. The format is a bit cheesy, but lots of interesting information nonetheless.https://www.youtube.com/watch?v=Rk3nTUfRZmo&t=5s "What runs ChatGPT? Inside Microsoft's AI supercomputer"

The relevance here is that Azure appears to be very well designed to handle the hardware failures that will inevitably happen during a training run taking weeks or months and using many thousands of GPUs... There's a lot more involved than just renting a bunch of Amazon GPUs, and anyways the partnership between OpenAI and Microsoft appears quite strategic, and can handle some build-out delays, especially if they are not Microsoft's fault.

‍

idée 4 

>The fact that scaling continues to work has significant implications for the timelines of AGI development. The scaling hypothesis is the idea that we may have most of the pieces in place needed to build AGI and that most of the remaining work will be taking existing methods and scaling them up to larger models and bigger datasets. If the era of scaling was over then we should probably expect AGI to be much further away. The fact the scaling laws continue to hold is strongly suggestive of shorter timelines.If you understand the shape of the power law scaling curves, shouldn't this scaling hypothesis tell you that AGI is not close, at least via a path of simply scaling up GPT-4? For example, the GPT-4 paper reports a 67% pass-rate on the HumanEval benchmark. In Figure 2, they show a power-law improvement on a medium-difficulty subset as a function of total compute. How many powers of ten are we going to increase GPT-4 compute by just to be able to solve some relatively simple programming problems?

‍

idée 5 

I never know if I have an inside scoop or an outside scoop. Has Hyena not addressed the scaling of context length [1]? I know this version is barely a month old but it was shared to me by a non-engineer the week it came out. Still, giving interviews where the person takes away that the main limitation is context length and requires a big breakthrough that already happened makes me seriously question whether or not he is qualified to speak on behalf of OpenAI. Maybe he and OpenAI are far beyond this paper and know it does not work but surely it should be addressed?[1] - https://arxiv.org/pdf/2302.10866.pdf

‍

idée 6 

> OpenAI will avoid competing with their customers — other than with ChatGPT. Quite a few developers said they were nervous about building with the OpenAI APIs when OpenAI might end up releasing products that are competitive to them. Sam said that OpenAI would not release more products beyond ChatGPT. He said there was a history of great platform companies having a killer app and that ChatGPT would allow them to make the APIs better by being customers of their own product. The vision for ChatGPT is to be a super smart assistant for work but there will be a lot of other GPT use-cases that OpenAI won’t touch.

‍

idée 7 

Left the best part until the end. Scaling models larger is still paying off for openai. It’s not AGI yet, but how much bigger will a model need to get to max out?>The scaling hypothesis is the idea that we may have most of the pieces in place needed to build AGI and that most of the remaining work will be taking existing methods and scaling them up to larger models and bigger datasets. If the era of scaling was over then we should probably expect AGI to be much further away. The fact the scaling laws continue to hold is strongly suggestive of shorter timelines.

‍

idée 8 

The bit about plugins not having PMF is interesting and possibly flawed. I, like many others, got access to plugins but not the browsing or code interpreter plugins which feel like the bedrock plugins that make the whole offering useful. I think there's also just education that has to happen to teach users how to effectively use other plugins, and the UX isn't really there to help new users figure out what to even do with plugins.

‍

Source : Hacker News - Ycombinator

‍