複数の項目が入ったテキストファイルから、重複している行を削除したいときはありませんか？ そんなときに、ブラウザ上でボタン1つでソート（並べ替え）したうえで重複行を削除してくれるツールです。
メールアドレス一覧から重複を取り除いたり、キーワード一覧を整理したり、いろいろとお使いください。
このプログラムは、すべてブラウザ側だけで動作します。そのため、以下のような特徴や注意点があります。
入力されたデータは外部には一切送信しません。ただし、あなたがブラウザにインストールした拡張機能やアドオンがどういう動作をするかは、私にはわかりません。また、クラッシュ時のレポート送信機能でデータが送信される場合もあるかもしれません。
処理できるテキストのサイズに制限は設けていません。ただし、あまりにも大量のデータを処理しようとすると、あなたのブラウザが固まった状態が続いたり、メモリが足りなくなったりする場合がありますので、ご注意ください。
テストでは、150万行程度までは動作しましたが、200万行程度になるとブラウザがクラッシュする場合もありました。
元のテキストファイルのサイズが64Mバイト程度までは動作するようですが、サイズが大きくなればなるほど、動作が遅くなります。
まぁ、ぶっちゃけ「Excel使えばいいんじゃ？」というものなんですが、個人的にExcelの重さが苦手で、特に何も考えずに貼り付けたときにおかしな文字列変換がされるところも苦手なので、JavaScriptの勉強がてら作ってみました。
開発者なら簡単なことも、そうでなければちょっと面倒
テキストファイルの並べ替え（ソート）や重複削除（ユニーク）は、開発者なら、実は簡単なんですよね。
Linux系OSならコマンドラインで「sort」「uniq」というプログラムを使えますし、WindowsでもPowerShellを使えば同様のことができます。
でも、開発者でないと、ちょっとした重複削除も面倒になってしまいます。手軽に重複削除できるツールがオンラインになかったので、作ってみました。
大量のデータならExcelで並べ替え・重複削除が楽
とはいうものの、今なら大量データの並べ替えや重複削除には、Excelの機能を使うのがベストです。
というのも、作ってはみたものの、データ量が多くなるとブラウザのtextareaへの貼り付けや出力が異様に遅くなったためです。
昔はExcelで扱える行数に限界があったのですが、今のExcelは百万行ほどでも扱えますので、だいたいの場合は問題ないでしょう。
Excelで行う場合、次のようにするのが良いでしょう。
Excelで新しい新しく空白のブックを作成する。
［データ］リボンの［外部データの取り込み］にある［テキストファイル］をクリックし、読み込みたいファイルを選ぶ。
テキスト ファイル ウィザードの3ページ目で「列のデータ形式」に［文字列］を指定して読み込む。
並べ替えをしたい場合は、［データ］リボンの［並べ替えとフィルター］にある［並べ替え］ボタンをクリックします。
重複を削除したい場合は、［データ］リボンの［データ ツール］にある［重複の削除］ボタンををクリックします。
何か不具合などありましたら、コメント欄でお知らせくださいませ。
※このコンテンツはWebサイト「Web担当者Forum - 企業ホームページとネットマーケティングの実践情報サイト - SEO/SEM アクセス解析 CMS ユーザビリティなど」で公開されている記事のフィードに含まれているものです。
オリジナル記事：ソート＆重複削除オンラインツール ： メールリストやテキストの重複行を一発削除 | 編集長ブログ―安田英久 | Web担当者Forum
Copyright (C) IMPRESS CORPORATION, an Impress Group company. All rights reserved.
安田 英久（やすだ・ひでひさ）
株式会社インプレスビジネスメディア
Web担当者Forum 編集長
プログラミングやサーバー、データベースなどの技術系翻訳書や雑誌『インターネットマガジン』などの編集や出版営業を経て、現在Webサイト 「Web担当者Forum」編集長。ビジネスにおけるWebサイトの企画・構築・運用と、オンラインマーケティングの2軸をテーマにメディアを展開してい る。
個人としては、技術とマーケティングの融合によるインターネットのビジネス活用の新しい姿と、ブログ/CGM時代におけるメディアのあるべき姿を模 索し続けている。趣味は素人プログラミングと上方落語と南インドカレー。