A5:SQL Mk-2

開発のこと、日々のこと

CSV/TSVからデータをインポート機能

ホーム フォーラム A5:SQL Mk-2掲示板 CSV/TSVからデータをインポート機能

  • このトピックには4件の返信、1人の参加者があり、最後にotoroにより3ヶ月、 1週前に更新されました。
5件の投稿を表示中 - 1 - 5件目 (全5件中)
  • 投稿者
    投稿
  • #6614 返信
    otoro
    ゲスト

    こんにちは。いつもお世話になっております。

    エラーログ等がなくて大変申し訳ないのですが、
    「CSV/TSVからデータをインポート」から3G程度(約2,500万件)のCSVファイルを取り込もうとした際に、80万件付近で毎回エラーになってしまい取込が行えませんでした。
    「テスト用ダミーデータ作成」は1,000万件でも正常に動作するようです。
    こちらでサーバー側の設定も見直す必要があると思いますが、お時間がある時に一度この機能が正常に動作するか見ていただけないでしょうか。
    ※問題切り分けのため、他の環境で正しく動作しているかを知りたいです。

    SQLタブのタイムアウト秒数:「6000」
    DB:mysql 5.7.29
    OS:Windows10

    #6637 返信
    松原正和
    キーマスター

    otoroさんこんにちは。

    MySQL8.0での確認なのですが、こちらでは100万件でのCSVのインポートも成功しています。A5:SQL Mk-2のバージョンはおいくつでしょうか?あと、エラー内容はどのようなものでしょうか?

    #6646 返信
    otoro
    ゲスト

    こんにちは。お世話になっております。
    情報ありがとうございます。私の環境で取り込めなかった原因はUNIQUE KEY違反でした。
    「トランザクション制御を行う」のオプションが、複数行インサートのレコード単位だと勘違いしておりまして、このトランザクション制御を外したところ正常なエラーメッセージが表示されました。
    解決はできましたが、一応エラー内容を張り付けておきます。
    複数行インサートを使用する: 10000レコードごと
    1行目をデータとして扱わない: はい
    トランザクション制御を行う: はい
    —————————
    A5:SQL Mk-2 64bit edition (Portable mode) Version 2.15.0 release candidate 6
    —————————
    Lost connection to MySQL server during query

    Error on data reading from the connection:

    接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。.

    Socket Error Code: 10060($274C)
    —————————
    OK
    —————————

    —————————
    A5:SQL Mk-2 64bit edition (Portable mode) Version 2.15.0 release candidate 6
    —————————
    モジュール ‘A5M2.exe’ のアドレス 0000000001BDACFF でアドレス 00000000000001F0 に対する書き込み違反がおきました。
    —————————
    OK
    —————————

    #6661 返信
    松原正和
    キーマスター

    otoro さんこんにちは。
     
    「複数行インサートを使用する」の件数が10000件と多いようですが、1000件や100件で試しても同様でしょうか?。

    #6669 返信
    otoro
    ゲスト

    こんにちは。お世話になっております。
    私の環境では1000件や100件で試した時も同様でした。

5件の投稿を表示中 - 1 - 5件目 (全5件中)
返信先: CSV/TSVからデータをインポート機能
あなたの情報:




コメントは受け付けていません。