HDF5 cho dữ liệu đánh dấu
Results 1 to 4 of 4

Thread: HDF5 cho dữ liệu đánh dấu

  1. #1
    Chào,

    có ai trong số các bạn sử dụng HDF5 thay vì cơ sở dữ liệu quan hệ như (MySQL, PostgreQuery)

    Nếu vậy, kinh nghiệm của bạn với nó khi làm việc với Dữ liệu Forex là gì?

  2. #2

    Quote Originally Posted by ;
    xin chào, có ai trong số các bạn sử dụng HDF5 thay vì cơ sở dữ liệu quan hệ như (MySQL, PostgreQuery) Nếu vậy, kinh nghiệm của bạn với nó khi làm việc với Dữ liệu Forex là gì?
    Tôi đã điều tra nó để lưu trữ đánh dấu và thấy nó không tối ưu (ít nhất là đối với tôi). Vấn đề chính là nó được thiết kế cho dữ liệu lớn không thay đổi. Có nghĩa là bạn phải chỉ định kích thước của mảng (nghĩa là: 4 triệu tick). Thêm đánh dấu mới yêu cầu thay đổi kích thước mảng (có thể nhanh). Có thể, nhưng tôi không thích làm việc theo cách này. BTW, tôi chỉ điều tra nó trong một vài giờ, vì vậy tôi có thể sai. Tôi đã tải xuống tất cả dữ liệu đánh dấu từ 4 nhà môi giới: FXCM, dbFX, Dukascopy và GAIN Capital. Tôi đã tạo một định dạng lưu trữ đánh dấu nén tùy chỉnh để lưu trữ chúng. Tôi có 10 GB dữ liệu đánh dấu, sẽ mất 200 GB nếu chúng được lưu trữ dưới dạng tệp CSV không nén. Cấu trúc nhị phân và nén của tôi đạt được trung bình 2 bytetick. Tôi lưu trữ các dấu tick bằng cách sử dụng số byte tối thiểu cần thiết (4 byte cho dấu thời gian, 3 byte cho giá thầu, 2 byte cho mức chênh lệch, yêu cầu là giá thầu chênh lệch). Tôi nén bằng LZMA (một trong những máy nén từ 7-Zip). Tôi lưu trữ các dấu tick từ mỗi ngày trong một tệp riêng biệt, như FXCMEUR_USD2009_01_28.tick, ... Tôi cũng đặt tiêu đề của mỗi tệp tất cả thông tin tôi có - tên người môi giới, API được sử dụng, tên cặp, số chữ số, ngày truy xuất, do đó nếu các tệp bị xáo trộn bằng cách nào đó, tôi sẽ không gặp vấn đề gì khi sử dụng chúng. Bây giờ tôi có 100.000 tệp, nhưng tôi muốn tổng hợp chúng, bằng cách lưu trữ chúng trong kho lưu trữ hàng tháng. Tôi đã thử sử dụng SQLite lúc đầu, nhưng nó không mở rộng, thậm chí không dùng cho nến M1. PostgreSQL sẽ xử lý nhiều hơn, nhưng chắc chắn nó không thể xử lý số lượng bọ tôi có. Tại nơi làm việc (Tôi là một lập trình viên máy tính), một trong những te của chúng tôi sử dụng HBase để lưu trữ dữ liệu lớn. Bạn có thể muốn điều tra điều đó, nhưng nó yêu cầu một cụm để sử dụng tối ưu (họ có 10 máy ngay bây giờ và lưu trữ khoảng 2 TB dữ liệu, 1 tỷ bản ghi). EDIT: Ảnh chụp màn hình của trình tải xuống tick của tôi đang diễn ra - http://dl.dropbox.com/u/190212/public/tick.png

  3. #3
    Cảm ơn Adal, trông khá thú vị. Hiện tại tôi đã quyết định sử dụng HDF5.

  4. #4
    Có ai có bất kỳ đầu vào mới của kinh nghiệm lưu trữ đánh dấu của bạn? Tôi cũng đang xem xét điều này. Cảm ơn!

Quyền đăng bài

  • Bạn không thể đăng bài viết mới
  • Bạn không thể đăng trả lời
  • Bạn không thể đăng tệp đính kèm
  • Bạn không thể chỉnh sửa bài đăng của bạn
  •  
Chính sách Cookie
Chính sách Cookie: Website forexibroker sử dụng cookies và khi tiếp tục sử dụng website bạn chấp thuận với điều này. Để có thêm thông tin, vui lòng đọc 'Thông tin Cookie'.