データ加工 on データの道具箱

JSON Crack

Mon, 01 Jan 0001 00:00:00 +0000

dataprep.jp

JSON Crack

ブラウザ上で JSON データ構造を視覚的に理解する

jsoncrack.dataprep.jp

どんなツールか？

JSON Crack は Web ベースのデータ可視化ツールです。ブラウザ上で JSON データ構造を視覚的に理解することを目的としています。

機能

JSON や構造化データをノード・エッジ形式のグラフ/ツリーとして視覚化し、展開・折りたたみが可能です。

使い方

1. データを入力…JSON を貼り付け、またはファイルからアップロード。
1. 入力内容に応じてインタラクティブなノード図やツリーが描画されます。
1. 必要に応じて展開/折りたたみ、検索、ズーム等の操作。

データ形式

JSON

OpenRefine

Mon, 01 Jan 0001 00:00:00 +0000

dataviz.jp

OpenRefine

表データのクレンジング・ツール

open-refine.dataviz.jp

どんなツールか？

OpenRefine は、表データのクリーニング（重複削除・表記ゆれ修正・整形）と変換をブラウザ上で行えるツールです。大量データを一括で処理でき、手作業での修正を大きく減らせます。

クレンジング作業中の状態をサーバ側で保存することが出来るほか、クレンジング手順自体を記録して同様のファイルに適用することも出来ます。

機能

フィルタ・ファセットによる絞り込みと値の確認
列の分割・結合、値の置換、空白や記号の正規化
重複検出やクラスタリングによる表記ゆれ修正
式（GREL）を使った一括変換
外部データとの照合（Reconciliation）

使い方

1. CSV / TSV / Excel / JSON などのデータを読み込む
1. Facet やフィルタで問題のある値を見つける
1. 変換・置換・クラスタリングでデータを整える
1. 必要な形式でエクスポートする

データ形式

入力：CSV、TSV、Excel(xls/xlsx)、Googleシート、JSON、XML、OpenDocument など
出力：CSV、TSV、Excel、JSON など

公式解説サイト

dataviz.jp

OpenRefineの公式解説サイト

OpenRefine解説

open-refine-doc.dataviz.jp

Shift JIS ⇄ UTF-8 文字コード変換ツール

Mon, 01 Jan 0001 00:00:00 +0000

dataprep.jp

Shift JIS ⇄ UTF-8 文字コード変換ツール

文字コードを、Shift JIS ⇄ UTF-8 間で相互に変換

change-character-encoding.dataprep.jp

どんなツールか？

テキストファイルの文字コードを、Shift JIS ⇄ UTF-8 間で相互に変換できるツールです。

Excelでの利用を前提としたファイルは Shift JIS で配布されていることが多いです。
世の中のほとんどのモダンなツールは UTF-8 を前提としています。

そのギャップを埋めるための簡易ツールです。

機能

Shift JIS → UTF-8 変換：古いシステムや Excel で使われる Shift JIS 文字コードのテキストを UTF-8 に変換。
UTF-8 → Shift JIS 変換： UTF-8 形式のテキストを Shift JIS に変換し、レガシーソフトや旧システムで利用可能に。

使い方

1. 変換したいテキストを入力・アップロード。
1. 変換後のテキストをコピー／ダウンロード。

ファイルが Shift JIS または UTF-8 かの判別は自動です。

データ形式

表データ(CSV、TSV、DSV)
JSON

Tabula PDF

Mon, 01 Jan 0001 00:00:00 +0000

dataprep.jp

Tabula PDF

PDFから表データを取り出す

tabula-pdf.dataprep.jp

どんなツールか？

Tabula PDF は、PDF 内の表を抽出して再利用しやすい形式に変換するツールです。
行政資料・調査報告書・配布資料など、PDF で公開された表をデータとして使いたい場面で役立ちます。

抽出したい表の範囲をページ上で指定し、CSV / JSON / Excel 形式で書き出せます。
「PDF はあるが元データが手元にない」という状況で、データ整形の出発点を作れます。

機能

PDF からの表抽出（ページ単位・複数ページ対応）
表領域の手動選択（ドラッグ）と抽出プレビュー
抽出モードの切り替え（罫線ベース / 余白ベース）
複数テーブルの一括出力
CSV / JSON / Excel 形式でのダウンロード

使い方

1. PDF ファイルをアップロード
1. 対象ページを開き、抽出したい表領域を選択
1. 抽出モードを選んでプレビューを確認
1. 問題なければ CSV / JSON / Excel のいずれかで出力

データ形式

入力：PDF
出力：CSV、JSON、Excel

補足

文字情報を持つ PDF での利用を想定しています。
スキャン画像中心の PDF は、事前に OCR を行うと抽出精度が上がります。

テキスト・エンティティ抽出ツール

Mon, 01 Jan 0001 00:00:00 +0000

dataprep.jp

テキスト・エンティティ抽出ツール

text-entity.dataprep.jp

どんなツールか？

CSV/TSVなどの表データから、テキストに含まれるハッシュタグ・メンション・URL・メールアドレス・電話番号を正規表現で一括抽出するブラウザツールです。データはすべてブラウザ上で処理され、サーバーには送信されません。

機能

5種類のエンティティ抽出: ハッシュタグ（#）、メンション（@）、URL、メールアドレス、電話番号
CSV/TSV対応: ファイルアップロードまたはテキスト貼り付けでデータを読み込み
列選択: 抽出対象の列をサンプル値付きで選択可能
プレビュー機能: 読み込んだデータを抽出前に確認
CSV出力: 抽出結果を元データに列追加した形でCSVダウンロード（BOM付きUTF-8）
日本語/英語対応: ブラウザの言語設定に応じて自動切替、手動切替も可能

使い方

データ入力 — CSVファイルをドラッグ&ドロップ、またはテキストエリアにCSV/TSVデータを貼り付け
プレビュー — 読み込んだデータの列数・行数を確認（先頭100行を表示）
抽出設定・実行 — 対象列と抽出タイプ（ハッシュタグ/メンション/URL/メール/電話番号）を選んで「抽出を実行」
結果確認・ダウンロード — 抽出件数を確認し、「CSVダウンロード」で結果を保存

データ形式

入力: CSV（カンマ区切り）、TSV（タブ区切り）、TXT
ヘッダー: 1行目を列名として扱うかどうかを選択可能（ヘッダーなしの場合は「列1, 列2, …」と自動命名）
出力: 元データの全列＋抽出結果列を追加したCSV（BOM付きUTF-8）。1セルに複数のエンティティがある場合はカンマ区切りで結合

青空文庫ルビ削除ツール

Mon, 01 Jan 0001 00:00:00 +0000

dataprep.jp

青空文庫ルビ削除ツール

青空文庫の小説からルビとメタデータを削除

aozora-furigana.dataprep.jp