« ChartStudio入門 (9) movmax, movmin | トップページ | スケジューラ機能追加 »

2007年12月10日 (月)

為替のヒストリカルデータを収集するツール

7年分の1分足の為替ヒストリカルデータを自動的に収集するソフトを作成してみました。

その名も、「HistoricalDataGetter」(そのまんまですねw)

こちらが、ツールの画面イメージです。

Main

ツールの画面を見てのとおり、知る人ぞ知る「Forexite」からヒストリカルデータを収集します。

為替のヒストリカルデータを配布しているサイトは色々あるかとは思いますが、1分足のデータはそれだけでデータ量が多く、何年という単位で配布しているサイトはほとんどありません。

この「Forexite」というサイトでは、なんと2001年からの1分足が配布されており、私が知る限りでは最長です。(しかも無料で利用できます。)
http://www.forexite.com/free_forex_quotes/forex_history_arhiv.html

配布されている通貨ペアも18種類(AUDJPY、AUDUSD、CHFJPY、EURCAD、EURCHF、EURGBP、EURJPY、EURUSD、GBPCHF、GBPJPY、GBPUSD、NZDJPY、NZDUSD、USDCAD、USDCHF、USDJPY、XAGUSD、XAUUSD)と非常に多く、これだけのデータがあれば、非常に様々なバックテストができるようになります。

さて、本ツールですが、
このForexiteから自動的にヒストリカルデータを収集してくれます。

と書くと、たいした機能がなさそうなのですが、実はこの収集が大変なのです(^^;。

というのも「Forexite」では、データが1日毎のZipファイル(圧縮ファイル)としてアップされており、しかもファイルの中に全ての通貨の分足がまとめて格納されています。

MetaTrader4で利用できるヒストリカルデータを作成しようとすると、
・1日単位のZipを全てダウンロードし、
・1ファイルずつ解凍した上で、
・通貨ペア毎に分け、
・全ファイルを繋ぎ合わせる

といった作業を行わなければなりません。

またこのデータのタイムゾーンはGMT+1時間という微妙なタイムゾーンが採用されているため、GMTや日本時間で利用したい場合は、時間を変更する必要があります。

手作業で行うにはかなり面倒な作業ですね・・(^_^;)

このツールはそれら全てを自動で行ってくれます。
ツールをインストールして起動し、「ダウンロード」ボタンを押せば、ダウンロード->解凍->ファイルの解析->ヒストリカルデータの構築まで全自動です。

一度ダウンロードしてしまえば、2度目以降は差分だけダウンロードして既存のヒストリカルデータにマージします。これも全自動で判断します。

また、次のようなオプション画面もあります。

Option1 

ヒストリカルデータを作成する「通貨ペア」や、「期間」で絞り込むことができます。そのとき、必要なものだけを選択する事で、生成時間を最小限にします。

Option2

出力するヒストリカルデータの形式を選んだり、また時刻補正(GMTや、日本時間など)も行うことができます。

Option3

さらに、「Forexite」のデータには一部重複データなどがあります。1分ダブっていたり、ひどい時は1時間ダブっていたり、、、このツールはそれらのダブリも自動的に除去します。

今後の計画ですが、
決められた時間になると自動的に収集するスケジューラ機能
1分足だけでなく、1時間足や日足なども生成する機能
なども順次盛り込んでいく予定です。
※これらの機能は、最新版で既に機能追加されました。詳細はリンク先をご参照ください。

ちなみに本ツールですが、

FX完全自動売買システム構築のための250の技 MetaTrader4逆引き大全集

の特典として追加させて頂きましたw。

無料バージョンアップも特典にありますので、既にご購入された皆様には本ツールが無料でご利用頂けます。

※ただし、ソフトの利用には.NetFramework2.0が動作する環境が必須となります。古いOSでは利用できない可能性があります。(XP、Vistaで動作確認済み)

まだ開発が終わったばかりなのですが、今後もバージョンアップをしていきたいと思います。乞うご期待ください^^。

|

« ChartStudio入門 (9) movmax, movmin | トップページ | スケジューラ機能追加 »

コメント

これは便利!!
E-BOOKを見ながらMQLを勉強していますが、
これでバックテストを行う時の負担がだいぶ軽減できるようです。
どうもありがとうございます。

投稿: umax | 2007年12月12日 (水) 11時20分

>umaxさん
こちらこそ、ありがとうございます。
そういって頂けるとがんばって作ったかいがあります^^。

投稿: FXPG | 2007年12月12日 (水) 20時00分

以前から興味があってメルマガを拝読させて頂いています。
このツールですが、購入すれば付属してくるということでしょうか。
ぜひ、使ってみたいと思っています。

投稿: めろん | 2007年12月17日 (月) 03時05分

>めろんさん
はい。今のところ、ツールは電子書籍のおまけということにさせて頂いています。需要がありそうでしたら、ツールだけ別でシェアウェアとしてもいいかなとも考えてますが・・。

投稿: FXPG | 2007年12月17日 (月) 07時38分

はじめまして。

先日、こちらの商材を購入いたしました。
早速、ダウンロードしたのですがヒストリカルデータを取得するアプリケーションが無いようなのですが、どちらで取得できるのでしょうか?

PDFファイルとサンプルのEAが見あたります。

投稿: たろう | 2007年12月17日 (月) 17時20分

>たろうさん
こんにちは。
ヒストリカルデータ収集ツールは、購入者専用のダウンロードサイトからインストールする事が可能となっております。
ダウンロードサイトのお知らせをメールで送信しているのですが、届いていませんでしょうか?
届いていなければ再送しますので、私のメールまでご連絡願えますでしょうか。連絡の際はご購入時のメールアドレスからご連絡お願いします。m(_ _)m

投稿: FXPG | 2007年12月17日 (月) 22時16分

いつもとても役立つ情報をありがとうございます。

MetaTrader4はダウンロードセンターからダウンロードすれば1分足は2000年から取得できると思います。
ですので「Forexite」のデータよりも多く取得できるわけですが、わざわざこのツールをおつくりになったということはMetaquotesの1分足データの信頼性より、Forexiteのほうが高いというお考えなのでしょうか?
それとも他の理由なのでしょうか?お教えいただければ幸いです。

投稿: mudita | 2008年3月30日 (日) 18時37分

>muditaさん
私のほうでは1分足が2000年からとれるというダウンロードセンターを確認できなかったのですが、それはどのようにして取得できるのでしょうか?
よろしければ教えていただけると幸いです。

投稿: FXPG | 2008年4月 3日 (木) 08時16分

お返事ありがとうございます。
ツール
→ヒストリーセンター
→USDJPY
→1 Minute(M1)
とクリックしていって、左下のDownloadボタンをクリック
→MetaQuotesからのデータで業者のデータじゃないですよという警告がでる
→Okをクリック

というながれです
1999年の1月4日からの1分足が取得できます。

質問させていただいた前後、バックテストとフォワードテスト(ODLデモ)の検証を繰り返し比較しましたが、ForexciteよりMetaquotesの方がリアルに近いような印象をもってます。
また、Alpariも2004年からデータをウェブからダウンロードできましたので比較してみたところ、こちらもフォワードテストやMetaQuotesに近い結果でした。

上記のように私のほうでは結論のようなものがでてしまっているのですが、もしなにか考え違いしてるような面がありましたらご指摘いただければ幸いです。

投稿: mudita | 2008年4月 5日 (土) 16時25分

>muditaさん
どうもありがとうございます。
ただ当方の環境では、1時間足のデータは取得できたのですが、1分足で1999年からのデータを取得することはできませんでした。1分足だと取得できたのは、2008年の1月くらいから3ヶ月間ほどのデータです。
なにか設定か、環境が異なるのでしょうか?

投稿: FXPG | 2008年4月 7日 (月) 08時33分

私の環境はODLからダウンロードしたMT4です。
こころみにAlpari UKからダウンロードしたものも使ってみましたが、同じようにMetaQuotesのデータがダウンロードできました。
Build215です。

デフォルトの設定から変えたことといえば、
オプション→チャート→ヒストリー内のバーの最大数をMAXの2147483647にしたくらいです。

投稿: mudita | 2008年4月 8日 (火) 08時28分

>muditaさん
ご親切にどうもありがとうございます。
私ほうでも確認できました。なるほど、そのような設定をすれば良かったのですねw
となれば、Forexiteを使うより、MetaQuotesのデータを使うほうが簡単に利用できるので良いと思います。
私の作成したツールも不要ですね・・(^^;
マニュアルもそのように改定したいと思います。教えて頂いてどうもありがとうございました。m(_ _)m

投稿: FXPG | 2008年4月 9日 (水) 22時31分

ご丁寧にお付き合いくださり、こちらこそありがとうございました。
私はご購入させていただいてないのでツールはまだ未使用ですが、N分足に分割できる機能があるとのこと。
これはとても有用だと思います。また、多数の業者の1分足で検証するのは個人的にとても有意義でした。
ですのでこのツールが不要ということはないと思います。

投稿: mudita | 2008年4月10日 (木) 11時54分

コメントを書く



(ウェブ上には掲載しません)


コメントは記事投稿者が公開するまで表示されません。



« ChartStudio入門 (9) movmax, movmin | トップページ | スケジューラ機能追加 »