Introduction à FX Data Mining Permet de faire une introduction simple et rapide à l'un des champs les plus intéressants aujourd'hui - Data Mining. Il existe un large éventail d'applications de Data Mining. Nous devrions intégrer Data Mining dans nos opérations sur devises. FX, FOREX ou Foreign Exchange FX est le plus grand marché en termes de volume quotidien négocié. Il a trois niveaux principaux de participants: les grands garçons, le niveau intermédiaire et les commerçants simples comme vous et moi. Il a une nature spéculative, ce qui signifie que la plupart du temps nous n'échangons pas de marchandises. Nous nous soucions seulement de la différence et souhaitent acheter bas et vendre haut ou vendre haut et acheter bas. Par des opérations courtes ou longues nous pouvons gagner des pépins. Selon votre volume de trading, la valeur pip peut varier de un cent à 10 et plus. C'est la principale façon de faire de l'argent sur le marché FX (avec Carry Trade, Brokering, Arbitrage et plus). Notez que le marché FX est énorme, mais convient à tous les niveaux de joueurs. Pensez au marché FX comme un supermarché infini avec un nombre infini de produits et de clients, mais il a aussi un nombre infini de caissiers. Cela signifie qu'il y a autant de possibilités pour tous. L'exploration de données et l'apprentissage par ordinateur L'exploration de données est un sous-domaine matures de l'informatique. Il s'agit d'un grand nombre de données et d'une extraction non trivial des connaissances utilisables provenant de quantités massives de données. Son fait par le traitement intelligent des données en utilisant des algorithmes d'apprentissage automatique. L'exploration de données n'est pas seulement CRUD (Créer, Lire, Mettre à jour et Supprimer). Nous avons plusieurs méthodes de Data Mining. Par la présente les méthodes et certaines applications. Classification - classement du courrier électronique comme spam, classement d'une transaction comme fraude. Association - YouTube nous propose de nouvelles vidéos basées sur notre histoire. Amazon suggère plus d'articles lors de la caisse. Clustering - analyse des données non structurées telles que les nouvelles économiques et les opinions pour trouver des groupes communs. Process Mining - examine les journaux des opérateurs d'appels afin de trouver des opérations inefficaces. Text Mining - nouvelles minières ou analyse technique pour la reconnaissance des formes. Algorithmic Trading est une exécution automatisée d'un algorithme de trading. Dans notre cas, l'algorithme de négociation provient de l'exploitation minière. Le commerce automatisé est fait par un roi de langage de programmation. Vitesse et robustesse sont des points clés ici: commerçant humain ne peut pas battre le programme informatique au sujet de ces attributs. Il pourrait être HFT (High Frequency Trading) et de programmation de bas niveau (comme C) ou de négociation à long terme et de programmation de haut niveau (comme Java). Mix Algorithmic Trading avec Data Mining Mixing Data Mining dans Algorithmic Trading est important. La chose la plus importante est les données. Un principe simple indique que si vos données ne sont pas assez bonnes, vos modèles ne seront pas assez bons (GIGO). Il s'agit de créer un modèle, de le mettre en œuvre et de le tester (comme toujours). Actuellement, ce flux est principalement manuel. Logiciel d'exploration de données Il existe de nombreuses options de logiciel libre dans le domaine de l'exploration de données. WEKA est un cadre de Data Mining originaire de l'Université de Waikato, Hamilton (Nouvelle-Zélande). WEKA est écrit en Java et dispose d'une grande API. Aussi, vous avez des implémentations pour la plupart des algorithmes bien connus Machine Learning. Le mélange de bons outils est essentiel. Il y a trop de modèles commerciaux possibles. Lancer une pièce de monnaie est un système de commerce stupide, mais c'est un système commercial. Nous avons besoin de Data Mining pour trouver l'or. De bons outils sont faciles à obtenir si bonne chance avec l'exploitation minière. Si vous cherchez plus d'informations sur les échanges de FX scientifiques votre prochaine étape est d'explorer les outils de Data Mining et les données historiques. Visitez algonell pour plus de détails. Vous pouvez nous trouver sur twitter. Facebook. Google. LinkedIn et WordPress. Je ne suis pas très sûr, si cette question s'inscrit ici. J'ai récemment commencé à lire et à apprendre sur l'apprentissage automatique. Quelqu'un peut-il jeter un peu de lumière sur la façon de s'y prendre, ou plutôt quelqu'un peut partager leur expérience et quelques conseils de base sur la façon de s'y prendre ou atleast commencer à l'appliquer pour voir quelques résultats des ensembles de données Comment ambitieux fait ce son Aussi, Algorithmes standard qui doivent être essayés ou regardés tout en faisant cela. Il semble y avoir une erreur de base que quelqu'un peut venir et apprendre quelques algorithmes d'apprentissage automatique ou d'IA, les configurer comme une boîte noire, aller go, et de s'asseoir pendant qu'ils se retirent. Mon conseil: Apprenez les statistiques et l'apprentissage automatique d'abord, puis vous inquiétez de la façon de les appliquer à un problème donné. Il n'y a pas de déjeuner gratuit ici. L'analyse des données est un travail difficile. Lisez Les éléments de l'apprentissage statistique (le pdf est disponible gratuitement sur le site Web), et ne commencez pas à essayer de construire un modèle jusqu'à ce que vous compreniez au moins les 8 premiers chapitres. Une fois que vous comprenez les statistiques et l'apprentissage automatique, alors vous devez apprendre à backtest et de construire un modèle commercial, la comptabilité des coûts de transaction, etc, qui est un tout autre domaine. Après avoir une poignée à la fois sur l'analyse et les finances, alors il sera un peu évident comment l'appliquer. Le point entier de ces algorithmes tente de trouver un moyen d'adapter un modèle à des données et de produire un faible biais et une variance dans la prédiction (c'est-à-dire que l'erreur de prédiction d'entraînement et de test sera faible et similaire). Voici un exemple d'un système commercial utilisant une machine vecteur de soutien dans R. mais il suffit de garder à l'esprit que vous serez faire vous-même un énorme service si vous ne passez pas le temps de comprendre les bases avant d'essayer d'appliquer quelque chose d'ésotérique. Juste pour ajouter une mise à jour divertissante: J'ai récemment rencontré cette thèse de maîtrise: Un nouveau cadre de négociation algorithmique appliquant l'évolution et l'apprentissage de la machine pour l'optimisation de portefeuille (2012). Il s'agit d'un examen approfondi des différentes approches d'apprentissage des machines par rapport à l'achat et la détention. Après presque 200 pages, ils arrivent à la conclusion de base: aucun système commercial n'a pu surperformer le benchmark lors de l'utilisation des coûts de transaction. Inutile de dire que cela ne signifie pas qu'il ne peut pas être fait (je n'ai pas passé tout le temps à revoir leurs méthodes pour voir la validité de l'approche), mais il fournit certainement plus de preuves en faveur du théorème pas de repas libre. Répondre fév 1 11 at 18:48 Jase Comme l'un des auteurs de la thèse de maître mentionné, je peux citer mon propre travail et dire: si quelqu'un réalise réellement des résultats rentables, il n'y a pas d'incitation à les partager, car cela annulerait leur avantage. Bien que nos résultats puissent soutenir l'hypothèse du marché, cela n'empêche pas l'existence de systèmes qui fonctionnent. Il pourrait être comme la théorie des probabilités: il est spéculé que les percées dans le domaine de la théorie des probabilités est arrivé plusieurs fois, mais jamais partagé. Cela pourrait être dû à son application pratique dans le jeu. Alors, encore une fois, c'est peut-être tout l'alchimie moderne. Ndash Andr233 Christoffer Andersen Apr 30 13 at 10:01 Mon conseil à vous: Il ya plusieurs machines LearningArtificial Intelligence (MLAI) branches là-bas: www-formal. stanford. edujmcwhatisainode2.html J'ai seulement essayé la programmation génétique et certains réseaux de neurones, et Personnellement, je pense que la branche d'apprentissage de l'expérience semble avoir le plus de potentiel. Les GPGA et les réseaux neuronaux semblent être les méthodologies les plus couramment explorées dans le but des prévisions du marché boursier, mais si vous faites de l'exploration de données sur Predict Wall Street. Vous pourriez être en mesure de faire une analyse sentiment aussi. Passez un peu de temps à apprendre sur les différentes techniques MLAI, trouver des données sur le marché et essayer de mettre en œuvre certains de ces algorithmes. Chacun aura ses forces et ses faiblesses, mais vous pourrez peut-être combiner les prédictions de chaque algorithme dans une prédiction composite (similaire à ce que les gagnants du Prix NetFlix ont fait). Certaines ressources: Voici quelques ressources que vous pourriez vouloir examiner: Le Chatter: Le consensus général parmi les commerçants est que l'Intelligence Artificielle est une science vaudou, vous ne pouvez pas faire un ordinateur prédire les cours des actions et vous êtes sûr de perdre votre argent si vous essayez je le fais. Néanmoins, les mêmes personnes vous diront que la seule façon de faire de l'argent sur le marché boursier est de construire et d'améliorer votre propre stratégie de trading et de le suivre de près (ce qui n'est pas une mauvaise idée). L'idée des algorithmes AI n'est pas de construire la puce et de lui laisser le commerce pour vous, mais d'automatiser le processus de création de stratégies. Son un processus très fastidieux et en aucun cas c'est facile :). Minimiser le suralimentation: Comme nous l'avons déjà mentionné, un problème fondamental avec les algorithmes AI est le surenchère (aka datamining bias): étant donné un ensemble de données, votre algorithme AI peut trouver un modèle qui est particulièrement pertinent pour l'ensemble de formation. Mais il peut ne pas être pertinent dans l'ensemble des tests. Il existe plusieurs façons de minimiser la suralimentation: Utilisez un jeu de validation. Il ne donne pas de rétroaction à l'algorithme, mais il vous permet de détecter quand votre algorithme est potentiellement commencer à overfit (c'est-à-dire que vous pouvez arrêter la formation si vous êtes overfitting trop). Utiliser l'apprentissage en ligne des machines. Il élimine en grande partie la nécessité de back-testing et il est très applicable pour les algorithmes qui tentent de faire des prévisions du marché. Ensemble d'apprentissage. Vous fournit un moyen de prendre plusieurs algorithmes d'apprentissage machine et de combiner leurs prédictions. L'hypothèse est que divers algorithmes peuvent avoir surchargé les données dans une certaine zone, mais la combinaison correcte de leurs prédictions auront une meilleure puissance prédictive. Deux aspects de l'apprentissage statistique sont utiles pour la négociation 1. Premièrement, ceux mentionnés précédemment: certaines méthodes statistiques axées sur le travail sur des ensembles de données en direct. Cela signifie que vous savez que vous observez seulement un échantillon de données et que vous souhaitez extrapoler. Vous avez donc à traiter dans l'échantillon et hors des questions de l'échantillon, overfitting et ainsi de suite. De ce point de vue, l'exploration de données est plus axée sur les données mortes (c'est-à-dire que vous pouvez voir presque toutes les données, vous avez un problème dans l'échantillon seulement) que l'apprentissage statistique. Parce que l'apprentissage statistique consiste à travailler sur un ensemble de données en direct, les mathématiques appliquées qui traitent avec eux ont dû se concentrer sur un problème à deux échelles: gauche X ampamp Ftheta (Xn, xi) ampamp L (pi (Xn), n) fin à droite. Où X est l'espace d'état (multidimensionnel) à étudier (vous avez en lui vos variables explicatives et celles à prédire), F contient la dynamique de X qui a besoin de certains paramètres theta. Le hasard de X vient de l'innovation xi, qui est i. i.d. L'objectif de l'apprentissage statistique est de construire une méthodologie L ith comme entrées une observation partielle pi de X et ajuster progressivement une estimation hattheta de theta, de sorte que nous saurons tout ce qui est nécessaire sur X. Si vous pensez à utiliser l'apprentissage statistique pour trouver Les paramètres d'une régression linéaire. Nous pouvons modéliser l'espace d'état comme ceci: underbrace yx end right) gauche begin a amp b amp 1 1 amp 0 amp 0 end right cdot underbrace x 1 epsilon fin right) ce qui permet d'observer (y, x) n à tout n Ici theta (a, b). Ensuite, vous devez trouver un moyen de construire progressivement un estimateur de thêta en utilisant nos observations. Pourquoi pas une descente en gradient sur la distance L2 entre y et la régression: C (chapeau a, chapeau b) n somme (yk - (chapeau a, xk chapeau b)) 2 Ici gamma est un schéma de pondération. Habituellement, une bonne façon de construire un estimateur est d'écrire correctement les critères pour minimiser et mettre en œuvre une descente gradient qui produira le schéma d'apprentissage L. Retourner à notre problème générique d'origine. Nous avons besoin de quelques mathématiques appliquées pour savoir quand les systèmes dynamiques couple dans (X, hattheta) convergent, et nous avons besoin de savoir comment construire des schémas d'estimation L qui convergent vers le theta d'origine. Pour vous donner des indications sur ces résultats mathématiques: Maintenant, nous pouvons revenir au deuxième aspect de l'apprentissage statistique qui est très intéressant pour les stratèges commerçants quantiques: 2. Les résultats utilisés pour prouver l'efficacité des méthodes d'apprentissage statistique peuvent être utilisés pour prouver l'efficacité de Trading algorithmes. Pour voir qu'il suffit de lire à nouveau le système dynamique couplé qui permet d'écrire l'apprentissage statistique: gauche M ampamp Frho (Mn, xi) ampamp L (pi (Mn), n) fin à droite. Maintenant M sont des variables du marché, rho est sous-jacent PnL, L est une stratégie de négociation. Il suffit de remplacer la minimisation d'un critère en maximisant le PnL. Voir par exemple la répartition optimale des commandes entre les pools de liquidité: une approche algorithmique stochastique par: Gilles Pags, Sophie Laruelle, Charles-Albert Lehalle. Dans cet article, les auteurs montrent qui utiliser cette approche pour diviser de façon optimale un ordre à travers différents pools sombres simultanément en apprenant la capacité des pools à fournir des liquidités et à utiliser les résultats pour le commerce. Les outils d'apprentissage statistique peuvent être utilisés pour élaborer des stratégies commerciales itératives (la plupart sont itératives) et prouver leur efficacité. La réponse brève et brutale est: vous n'avez pas. Tout d'abord, parce que le ML et les statistiques ne sont pas quelque chose que vous pouvez commander bien dans un ou deux ans. Mon horizon de temps recommandé pour apprendre quelque chose de non trivial est de 10 ans. ML pas une recette pour faire de l'argent, mais juste un autre moyen d'observer la réalité. Deuxièmement, parce que tout bon statisticien sait que la compréhension des données et le domaine du problème est 80 du travail. C'est pour cette raison que vous avez des statisticiens qui se concentrent sur l'analyse des données de physique, sur la génomique, sur le sabermetrics etc. Pour mémoire, Jérôme Friedman, co-auteur d'ESL cité ci-dessus, est physicien et occupe encore une position de courtoisie chez SLAC. Ainsi, l'étude des statistiques et des finances pour quelques années. Sois patient. Suis ton propre chemin. Kilométrage peut varier. Je suis entièrement d'accord. Tout simplement parce que vous connaissez l'apprentissage automatique et les statistiques, cela ne signifie pas que vous savez comment l'appliquer au financement. Ndash Dr. Mike Aug 10 11 at 20:25 Aussi une chose importante à retenir est que won39t être le commerce contre les gens, vous allez négocier contre d'autres algorithmes d'intelligence artificielle qui regardent vos métiers pile, et sont furieusement calculer les chances que le Collectif serait assoupi par un déclin fabriqué et en prenant cette perte mineure dans la création d'un spikedip et de tromper tous ces AI39s à s'arrêter, puis en roulant le plongeon de nouveau dans elle et monter la vague, gagner vos pertes. Le marché boursier est un jeu de somme nulle, le traiter comme entrer dans un match de boxe pro, si vous aren39t un vétéran de 20 ans, you39re va perdre ndash Eric Leschinski Feb 13 16 at 1:56 Une application de base est de prédire la détresse financière. Obtenez un tas de données avec certaines entreprises qui ont manqué à leurs obligations, et d'autres qui n'ont pas, avec une variété d'informations financières et des ratios. Utilisez une méthode d'apprentissage machine telle que SVM pour voir si vous pouvez prédire quelles entreprises seront par défaut et qui ne sera pas. Utilisez cette SVM à court terme pour les sociétés à probabilité élevée à probabilité élevée et les sociétés à défaut à faible probabilité, avec le produit des ventes à découvert. Il ya un dicton quotPicking pennies en place devant des rouleaux de vapeur. Vous faites l'équivalent de la vente d'un hors-de-l'argent. Dans ce cas, vous obtiendrez de minuscules bénéfices pendant des années, puis vous serez totalement nettoyés lorsque le marché se fondra tous les 10 ans environ. Il ya aussi une stratégie équivalente qui achète des puts hors de l'argent: ils perdent de l'argent pendant des années, puis font un meurtre quand le marché se fond. Voir Talab39s Le cygne noir. Ndash Contango Jun 5 11 at 22:20 N'oubliez pas que les entreprises internationales ont dépensé des centaines de milliards de dollars et des heures de travail sur les esprits de l'intelligence artificielle les meilleurs et les plus brillants au cours des 40 dernières années. J'ai parlé à quelques-unes des tours d'esprit responsables des alphas plus à Citadel et Goldman Sachs, et l'hubris des novices à penser qu'ils peuvent mettre en place un algorithme qui va aller à l'orteil avec eux, et de gagner, est presque aussi stupide que Un enfant vous disant qu'il va sauter à la lune. Bonne chance, et attention aux martiens de l'espace. Pour ne pas dire de nouveaux champions ne peut pas être faite, mais les chances sont contre vous. Ndash Eric Leschinski Feb 13 16 at 2:00 Une possibilité qui mérite d'être explorée est d'utiliser l'outil d'apprentissage de vecteur de support sur la plateforme Metatrader 5. Tout d'abord, si vous n'êtes pas familier avec lui, Metatrader 5 est une plate-forme développée pour les utilisateurs de mettre en œuvre le trading algorithmique sur les marchés Forex et CFD (Im pas sûr si la plate-forme peut être étendue aux stocks et autres marchés). Il est généralement utilisé pour les stratégies d'analyse technique fondée (c'est-à-dire en utilisant des indicateurs basés sur des données historiques) et est utilisé par les gens qui cherchent à automatiser leur négociation. Le Support Vector Machine Learning Tool a été développé par l'une des communautés d'utilisateurs afin de permettre l'application de machines vectorielles de soutien aux indicateurs techniques et de conseil sur les métiers. Une version de démonstration gratuite de l'outil peut être téléchargée ici si vous souhaitez en savoir davantage. Si je comprends bien, l'outil utilise des données historiques sur les prix pour déterminer si les opérations hypothétiques dans le passé auraient été couronnées de succès. Il prend ensuite ces données avec les valeurs historiques à partir d'un certain nombre d'indicateurs personnalisables (MACD, oscillateurs etc), et l'utilise pour former une machine de vecteur de soutien. Ensuite, il utilise la machine de vecteur support formé pour signaler les métiers de buysell avenir. Une meilleure description peut être trouvée sur le lien. J'ai joué avec un peu avec des résultats très intéressants, mais comme avec toutes les stratégies de trading algorithmique, je recommande des tests solides backforward avant de le prendre sur le marché en direct. Répondre Dec 10 12 at 11:59 Désolé, mais en dépit d'être utilisé comme un exemple populaire dans l'apprentissage automatique, personne n'a jamais atteint une prédiction du marché boursier. Il ne fonctionne pas pour plusieurs raisons (vérifier la marche aléatoire par Fama et un bon nombre d'autres, la décision rationnelle d'erreur, fausses hypothèses.), Mais le plus convaincant est que si cela fonctionnerait, quelqu'un serait capable de devenir insanément riche En quelques mois, essentiellement propriétaire de tout le monde. Comme cela ne se produit pas (et vous pouvez être sûr que tous les banques ont essayé), nous avons de bonnes preuves, cela ne fonctionne tout simplement pas. En outre: Comment pensez-vous que vous atteindrez ce que des dizaines de milliers de professionnels ont échoué, en utilisant les mêmes méthodes qu'ils ont, ainsi que des ressources limitées et seulement des versions de base de leurs méthodes ont répondu Quotmost compellingquot raison: les stratégies ont des limites de capacité, c'est-à-dire des niveaux au-delà de laquelle votre impact sur le marché dépasserait l'alpha disponible, même en supposant que vous aviez un capital illimité. Je ne suis pas sûr de ce que vous entendez par une prédiction de marché quotstock (indice futures ETF39s), mais il ya certainement beaucoup de gens à faire des prévisions à court terme, et en bénéficiant, tous les jours sur les marchés. Ndash afekz Nov 23 15 at 13:19 J'ai écho beaucoup de ce que Shane a écrit. En plus de lire l'ESL, je suggérerais une étude encore plus fondamentale des statistiques d'abord. Au-delà de cela, les problèmes que j'ai décrits dans une autre question sur cet échange sont très pertinents. En particulier, le problème du biais de datamining est un obstacle sérieux à toute stratégie basée sur l'apprentissage par machine.
No comments:
Post a Comment