CSV/TSVからデータをインポート機能

このトピックには4件の返信、1人の参加者があり、最後ににより5年、 7ヶ月前に更新されました。

5件の投稿を表示中 - 1 - 5件目 (全5件中)

投稿者

投稿
2020/04/13 13:03 #6614 返信

otoro
ゲスト

こんにちは。いつもお世話になっております。

エラーログ等がなくて大変申し訳ないのですが、
「CSV/TSVからデータをインポート」から3G程度(約2,500万件)のCSVファイルを取り込もうとした際に、80万件付近で毎回エラーになってしまい取込が行えませんでした。
「テスト用ダミーデータ作成」は1,000万件でも正常に動作するようです。
こちらでサーバー側の設定も見直す必要があると思いますが、お時間がある時に一度この機能が正常に動作するか見ていただけないでしょうか。
※問題切り分けのため、他の環境で正しく動作しているかを知りたいです。

SQLタブのタイムアウト秒数:「6000」
DB:mysql 5.7.29
OS:Windows10

2020/04/19 23:41 #6637 返信

松原正和
キーマスター

otoroさんこんにちは。

MySQL8.0での確認なのですが、こちらでは100万件でのCSVのインポートも成功しています。A5:SQL Mk-2のバージョンはおいくつでしょうか？あと、エラー内容はどのようなものでしょうか？

2020/04/21 21:02 #6646 返信

otoro
ゲスト

こんにちは。お世話になっております。
情報ありがとうございます。私の環境で取り込めなかった原因はUNIQUE KEY違反でした。
「トランザクション制御を行う」のオプションが、複数行インサートのレコード単位だと勘違いしておりまして、このトランザクション制御を外したところ正常なエラーメッセージが表示されました。
解決はできましたが、一応エラー内容を張り付けておきます。
複数行インサートを使用する: 10000レコードごと
1行目をデータとして扱わない: はい
トランザクション制御を行う: はい
—————————
A5:SQL Mk-2 64bit edition (Portable mode) Version 2.15.0 release candidate 6
—————————
Lost connection to MySQL server during query

Error on data reading from the connection:

接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。.

Socket Error Code: 10060($274C)
—————————
OK
—————————

—————————
A5:SQL Mk-2 64bit edition (Portable mode) Version 2.15.0 release candidate 6
—————————
モジュール ‘A5M2.exe’ のアドレス 0000000001BDACFF でアドレス 00000000000001F0 に対する書き込み違反がおきました。
—————————
OK
—————————

2020/04/26 23:27 #6661 返信

松原正和
キーマスター

otoro さんこんにちは。
　
「複数行インサートを使用する」の件数が10000件と多いようですが、1000件や100件で試しても同様でしょうか？。

2020/04/28 10:08 #6669 返信

otoro
ゲスト

こんにちは。お世話になっております。
私の環境では1000件や100件で試した時も同様でした。
投稿者

投稿

5件の投稿を表示中 - 1 - 5件目 (全5件中)