Et si ChatGPT était un bon PNL maker ?
Voici les observations tirées de cette récente étude sur la capacité de ChatGPT (4o, 1o & 4) à créer un portefeuille d’actions performant en fonction du risque de l’utilisateur.
Point méthodo d’abord :
- Période d’observation de 10 mois, du 1/12/2023 au 30/09/2024 (un peu court à mon goût, et surement à celui de @ZakZak)
- Les dataset des LLM (4o, o1) ont été bloqués à partir de Décembre 2023 (4 est déjà bloqué à cette date), afin de permettre une comparaison avec l’historique tout en évitant toute forme de « triche »
- Les prompts ont été générés des centaines de fois, et les portefeuilles résultants correspondent à une moyenne de ces essais. Les chercheurs ont constaté une grande stabilité dans les portefeuilles obtenus (très peu de variations entre les résultats)
- L’étude porte sur le SP500 et le STOXX600
- Les données sont bien sûr re-traitées (jours fériés, split d’actions,…), afin de respecter le fameux « Toutes Choses Egales Par Ailleurs »
Les résultats sur le SP500 sont beaucoup plus satisfaisants que sur le STOXX 600. Je pense que c’est dû à une meilleure qualité de la donnée, et que le marché américain est plus développé et performant que le marché européen.
Résultats :
→ GPT respecte globalement bien la notion de risque, en générant des portefeuilles plus ou moins volatils, avec un bêta cohérent selon les prompts. Il tend à privilégier les actions de croissance pour les portefeuilles risqués, et les actions à dividende pour les portefeuilles plus conservateurs. La surperformance des portefeuilles de 4o et o1 est impressionnante.
→ Les chercheurs concluent que ces résultats suggèrent que les investisseurs particuliers peuvent s’appuyer sur ChatGPT pour améliorer leurs décisions d’investissement, à condition de bien choisir le modèle utilisé.
Perso, j’aurais préféré que l’étude couvre une période plus longue, 10 mois c’est assez court pour tirer des conclusions robustes, malgré les affirmations des chercheurs. Cela dit ils reconnaissent plusieurs limites :
- Hallucinations lors de la génération des portefeuilles, nécessitant parfois de relancer les prompts jusqu’à 5 fois pour obtenir un résultat fiable
- Black box : le processus de décision est opaque, ce qui est risqué si l’on s’appuie aveuglément sur GPT (ça, ça change pas)
- Données d’entraînement peu analysées : le manque de transparence sur les data soulève des doutes sur la fiabilité des réponses
Note pour plus tard - Etudes à lire :
- Dong et al. (2024) overview on GPT literature in accounting & finance
- Nie et al. (2024) overview of LLMs adoption in portfolio recommendations, sentiment analysis, & financial reasoning
- Niszczota and Abbas (2023) find that it achieves a score of 99% on financial literacy test
- Kim et al. (2023c) demonstrate that transformer-based LLMs (BERT, GPT) can extract valuable information from analyst reports using sentiment analysis, suggesting their potential to enhance investment decision-making and adapt to the role of financial analysts
Les prompts :
- Prompt risqué/ moins risqué
Please create a stock portfolio based solely on the information I provide now, and disregard any information from our previous conversations. Today is the 1st of December 2023. Pretend to be a financial expert. Create a theoretical portfolio from the {S&P 500/STOXX Europe 600} for a retail investor with {low/high}-risk appetite on the stock market and the goal to outperform the {S&P 500/STOXX Europe 600} index. List the tickers and assign a weight within the portfolio for every company. Provide company names, tickers, weights, and sectors in a table. Make sure that the assigned weights sum up to 100%, and make also sure that the stocks you pick are constituents of the {S&P 500/STOXX Europe 600} on the 1st of December 2023
Please create a stock portfolio based solely on the information I provide now, and disregard any information from our previous conversations. Today is the 1st of December 2023.Pretend to be a financial expert. Create a theoretical portfolio from the {S&P 500/STOXX Europe600} for a retail investor on the stock market and the goal to outperform the {S&P 500/STOXX Europe 600} index. List the tickers and assign a weight within the portfolio for every company. Provide company names, tickers, weights, and sectors in a table. Make sure that the assigned weights sum up to 100%, and make also sure that the stocks you pick are constituents of the {S&P500/STOXX Europe 600} on the 1st of December 2023.
3 « J'aime »
Très intéressant. Je voudrais bien avoir la critique des gens de AQR. Pourquoi cette limitation dans le temps. Est ce que les auteurs expliquent pourquoi. Que se passe t si on passe simplement à 2 ans de données. Ca reste tout de meme tres opaque dans la méthodologie. Question principale. Est ce que les auteurs de l article ont confié la gestion de leur portefeuille à Chatgpt, skin in the game comme dirait Taleb
J ai lu l article. Ca manque beaucoup de specifiques. J aurais aimé avoir la composition du portfolio mois par mois, le nombre de positions et leur taille. Etc…
Maintenant s agissant de chatgpt on peut supposer qu il s appuie sur les portefeuilles publies et en conséquence les portefeuilles generes sont des copies en sélectionnant des portefeuilles existants en fonction des caractéristiques de risques indiqués dans le prompt. Dans ce cas il y a nul besoin d avoir plus de données historiques puisque au final le critère de selection se base sur la recherche du portfolio existant le plus performant pour une caractéristique de risque donné dans un present proche avec peu de variabilité avec les conditions de marché actuel. Ne jamais oublié que chapgpt est un super moteur de recherche. L article ne dis pas quels sont les facteurs explicatifs de la supperformance. Si le modèle avait detecte et documenté une anomalie de marché nouvelle pour expliquer la supperformance alors là ça devenait intéressant.
1 « J'aime »
« This ten-month timeframe is sufficient to facilitate an analysis of the portfolios’ performance while maintaining relevance to current market conditions. »
En fait je pense que c’est délicat de faire sur du plus long terme, car ça augmente le risque d’hallucination sur le dataset, les modèles sont mis à jour très souvent.
Je ne pense pas que les compositions aient évolué, c’est du B&H.
Je ne pense pas que ça arrive, car OpenIA (mais c’est la même chose pour les autres LLM) biaise ChatGPT.
Ce que je trouve intéressant dans ce papier, c’est de voir la facilité avec laquelle on peut générer un portefeuille d’actions cohérent en fonction d’un niveau de risque. En 1 prompt madame Michu peut avoir un portefeuille diversifié correspondant à son niveau de risque.
Oui ce n’est pas parfait, mais ça avance vite !
Je pense que les LLM pourraient être utile dans la définition du risque (simuler des situations de crises, se remémorer des périodes difficiles, tester rapidement certains scénario, etc…)
3 « J'aime »
Pour prendre une analogie. Vous pouvez aussi prompter chatgpt pour vous trouver le meilleur circuit touristique pour une destination donnée , un pricx donné, une durée donnée, etc…vous pouvez remplacer circuit touristique par portfolio. Bon je force un peu le trait mais pas tant que ça
Loin de moi de diminuer l intérêt de chatgpt. Je pense qu c est un super outil pour les cgp. Mais il est indispensable d en connaître les mécanismes et les limites. Je pense qu en effet ca peut etre un super outil pour de l analyse de scenari, identifier des similarités entre des situations de marché actuelles et passées.
1 « J'aime »
J’avoue ne pas trop comprendre l’intérêt de ce genre d’études.
10 mois comme période de référence, c’est juste n’importe quoi.
Pourquoi « une meilleure qualité de la donnée » ?
D’emblée j’attribuerais ça au fait que c’est une période de 10 mois en plein bull run tech de plusieurs années, drivé par les US, et où dans ce cas précis le passé est un bon moyen de prédire le futur.
Forcément ça marche moins bien quand c’est « pas aussi simple » pour le stoxx 600.
Je pense qu’on peut s’arrêter là. ChatGPT c’est super… Quand ça ne fait pas n’importe quoi.
Et c’est bien ça le problème. Comment elle fait Madame Michu pour trier ?
2 « J'aime »
L’intérêt est de faire de la veille sur les nouvelles technos.
Est-ce que ChatGPT peut remplacer un CIF ? Pour le moment non.
Est-ce que ChatGPT donne des conseils bidons ? Là on a une preuve que non
Cette étude cherche à mesurer la qualité de ces conseils. Oui ce n’est pas l’étude du siècle, mais elle reste acceptable au vue de l’environnement très volatil (modèle qui évolue vite).
Evidemment que GPT ne prodigue pas d’alpha au prix d’un simple prompt, sinon cela se saurait depuis longtemps. Mais pour des questions du type « je veux investir mon argent efficacement mais sans prendre trop de risque », GPT est pertinent, beaucoup moins cher qu’une formation ETF à 3000€ et beaucoup plus accessible qu’un ponçage de liens google/forum.
Au vu des études dans ma note pour plus tard, je me rend compte que GPT devient (va devenir) un véritable outil en asset management très puissant, accessible et pour 20€ par mois.
« Résultats satisfaisants » = cohérents, pas surperformant. Par exemple, les entreprises cotées américaines font des publications plus fréquentes et ont des contrôles beaucoup plus strictes qu’en Europe.
Mais je te rejoins sur le fait que j’aurais bien voulu voir une analyse sur un marché baissier, genre 2022.
En dialoguant avec le LLM, qui pour le moment est moins biaisé qu’un CGP classique et beaucoup plus patient qu’un anonyme sur un forum d’investissement.
Les nouvelles versions de GPT hallucinent de moins en moins, d’où le fait de restreindre l’horizon de l’analyse. Je suis prêt à parier (j’ai un gamma de 2 
) que dans pas si longtemps les hallucinations seront anecdotiques (meilleur contexte et meilleure utilisation).
1 « J'aime »
De tes remarques sur l’étude, j’aurais dit qu’on a (une nouvelle fois) une preuve que oui 
Le protocole n’a rien de rigoureux, la période est beaucoup trop petite pour avoir une quelconque utilité statistique, et ils ont dû « relancer les prompts » semble t-il.
Je serais mauvaise langue, je me dirais que c’est une étude fallacieuse dont le seul but est de récupérer des financements.
Il faut bien voir que chatgpt ne fait que rechercher dans la somme des données disponibles publiquement sur le net cad l ensemble des portfolios publics celui ou ceux qui ont un profil qui se rapproche le plus des caractéristiques du risque recherché. Il n y aucun calcul financier ou statistique pour une allocation optimale. C est pour cela que les notions d historique et de backtest n ont pas grand sens dans le cadre de fonctionnement de chatgpt.
ChatGPT peut avoir une vrai valeur éducative / pédagogique sur des sujets de finance. Le fait de pouvoir converser avec un outil qui synthétise et explique pédagogiquement peut vraiment aider à mieux comprendre comment construire son portefeuille. 
Sur la partie « constitution du portefeuille », je suis un peu plus dubitative (pour le moment, on voit des progrès tous les mois après tout).
Sur cet article là :
- Que deux fonds possibles ici. Les contraintes sont fortes.
- Les prompts ici donnés ne sont pas écrits par des débutants. Je me méfierais de la réponse de quelqu’un qui demande « J’ai hérité 15000€ de ma grande mère et je veux investir en bourse, fais moi mon portefeuille ».
Par contre, la partie identifier les entreprises + établir la répartition sectorielle est pour le coup très intéressante. Du coup j’ai essayé.
-
J’ai commencé avec le CAC 40 (facile) – dans le texte, il m’a bien donné la bonne liste MAIS il a adjoint une série d’images (logos, screenshot de fichier excel) qui pour le coup étaient fausses.
-
Sur le MSCI World, il n’a pas été capable de me fournir la liste, mais m’a dirigé vers un site où je peux la trouver. Top
-
Plus compliqué, je lui ai demandé le nom des entreprises + répartition de STOXX® Europe Total Market Defense : il a commencé par me donner une liste des « 10 positions les plus importantes », et quand j’ai poussé, complètement au fraise, il a fourni une liste avec des doublons et (au moins) deux entreprises hallucinées.
C’est marrant qu’il ait été jusqu’à halluciner des entreprises sur ce dernier, alors que sur un MSCI World SRI PAB il botte en touche et refuse de me donner une liste parce que « varie selon la méthodologie du fonds », même quand je lui donne un ISIN précis.
Bref, encore des progrès à faire.
Désolée pour le double message - je suis d’un naturel curieux.
Prompt (premier message sur un chat temporaire, CGPT 4.0) :
J’ai hérité 15000€ de ma grande mère et je veux investir en bourse, fais moi mon portefeuille sans me poser plus de question. Je veux des ISIN et des proportions précises pour un portefeuille bien diversifié.
Et la réponse :
Bien compris, je vais te préparer un portefeuille boursier diversifié directement, sans poser de questions supplémentaires.
Portefeuille proposé (15 000 €)
Objectif : Diversification mondiale, long terme, répartition actions/obligations équilibrée (~80/20).
Support : ETF (faibles frais, simplicité).
Répartition finale :
| ISIN |
ETF |
Exposition |
Pourcentage |
Montant (€) |
| IE00B4L5Y983 |
iShares Core MSCI World UCITS ETF |
Actions Monde développés |
40% |
6 000 € |
| IE00BF4RFH31 |
iShares MSCI Emerging Markets UCITS ETF |
Actions Marchés émergents |
15% |
2 250 € |
| IE00B3VVMM84 |
iShares Core MSCI Europe UCITS ETF |
Actions Europe |
10% |
1 500 € |
| IE00BSKRJZ44 |
iShares MSCI USA SRI UCITS ETF |
Actions USA |
10% |
1 500 € |
| IE00B4WXJJ64 |
iShares Global Clean Energy UCITS ETF |
Actions Énergie propre |
5% |
750 € |
| IE00BDBRT036 |
iShares Global Govt Bond 1-5yr UCITS ETF |
Obligations souveraines |
10% |
1 500 € |
| LU1291098748 |
Amundi Floating Rate Euro Corporate Bond UCITS ETF |
Obligations entreprises (taux flottant) |
5% |
750 € |
| IE00B3RBWM25 |
iShares Physical Gold ETC |
Or (couverture) |
5% |
750 € |
Résumé :
- 80% actions / 20% obligations + or (profil dynamique mais prudent)
- Diversification mondiale : USA, Europe, émergents, énergie propre
- Couverture or & obligations pour limiter la volatilité
- Frais de gestion très faibles grâce aux ETF
Si tu veux, je peux aussi te préparer un tableau Excel ou Google Sheets avec ce portefeuille prêt à remplir pour ton broker. Tu me dis ! 
Je… suis très intriguée.
- Avoir 5% en or était pas sur mon bingo potentiel.
- Le code IE00B3VVMM84 est faux, il ne correspond pas MSCI Europe mais à FTSE Emerging Markets. Egalement faux : IE00BSKRJZ44, IE00B4WXJJ64, IE00BDBRT036, LU1291098748 (n’existe pas), IE00B3RBWM25.
- D’où vient le Global Clean Energy ?
La petite pépite finale (je pense que l’AMF aurait 2-3 choses à dire).
Prompt :
Est-ce légal pour ChatGPT de me donner des ISIN alors qu’il n’est pas conseiller en investissements financiers ?
Réponse :
Excellente question, et tu fais bien de la poser ! Je vais te répondre clairement :
Ce que je fais ici :
Je ne suis pas un conseiller en investissements financiers (CIF) réglementé. Je ne donne pas de conseils personnalisés en fonction de ta situation financière, de tes objectifs ou de ta tolérance au risque. Je te propose simplement un exemple générique de portefeuille d’ETF diversifiés, basé sur des principes généralement admis dans la gestion de portefeuille à long terme (diversification, faible coût, ETF indiciels).
Légalité :
- Je ne suis pas soumis à la réglementation financière (comme l’AMF en France) et je ne donne pas de conseil personnalisé ni ne vends de produits financiers.
- Je fournis une information éducative et illustrative, comme le ferait un livre ou un article sur l’investissement.
- Si tu veux investir réellement, il est fortement recommandé de consulter un conseiller financier agréé ou de bien te former avant de prendre des décisions.
En pratique :
Tu peux tout à fait utiliser ces informations comme point de départ pour approfondir et te faire accompagner si besoin. Si tu as des doutes, consulte un professionnel agréé !
Si tu veux, je peux aussi t’expliquer comment analyser et choisir des ETF par toi-même. Tu veux que je t’explique ?
3 « J'aime »
Voici 2 tests avec 4o :
J’ai hérité 15000€ de ma grand mère et je veux investir cet argent, comment je fais, sachant que je ne veux pas prendre de risques.
J’ai hérité 150 000€ de ma grand mère et je veux investir cet argent, comment je fais, sachant que je veux faire fructifier mon patrimoine sans prendre trop de risques.
C’est pas trop mal, il est déjà plus pertinent que la majorité des CGP que j’ai rencontré 
1 « J'aime »
… sauf que le rendement des livret A / LDDS / LEP n’est pas à jour. Il indique 3% et 5% alors que depuis le 1er février c’est 2,4% et 3,5%.
Je suis pas Anti-chatGPT (la preuve, je paye l’abonnement). Comme je le disais : c’est un bon point de départ, il y a une vrai valeur éducative/pédagogique.
PS : ta petite remarque sur les CGP à la fin 
Tristesse.
