Impor & Ekspor Data (URL, Google Drive, Git, CSV)

16 Sel • Python 3 (WebAssembly Kernel)

Unduh .ipynbUnduh GitHub Buka di ColabColab

Teknik Impor & Ekspor Data (CSV, URL, Git, Google Drive, Excel, JSON)

Dalam proyek sains data di dunia industri, dataset jarang dibuat secara manual menggunakan kode, melainkan dimuat dari berbagai sumber penyimpanan: berkas lokal (CSV/Excel), tautan web langsung (URL), repositori Git, Google Drive (Google Colab), maupun API berbasis JSON. Modul ini membahas seluruh metode impor dan ekspor data paling esensial.

1. Membaca & Menulis Berkas CSV Lokal (`pd.read_csv` & `df.to_csv`)

CSV (Comma Separated Values) adalah format pertukaran data tabular yang paling umum digunakan dalam analisis data.

import pandas as pd

# 1. Membuat data sampel produk
df_produk = pd.DataFrame({
    'Kode': ['A01', 'A02', 'A03', 'A04'],
    'Produk': ['Laptop Pro', 'Mouse Wireless', 'Keyboard Mekanikal', 'Monitor 4K'],
    'Harga': [14500000, 250000, 850000, 4200000],
    'Stok': [12, 45, 28, 15]
})

# 2. Ekspor ke berkas CSV lokal (gunakan index=False agar nomor indeks tidak ikut tersimpan)
df_produk.to_csv('daftar_produk.csv', index=False)
print("Berkas 'daftar_produk.csv' berhasil disimpan!")

# 3. Membaca kembali berkas CSV
df_baca = pd.read_csv('daftar_produk.csv')
print("\nHasil Baca Berkas CSV:\n", df_baca)

Berkas 'daftar_produk.csv' berhasil disimpan!

Hasil Baca Berkas CSV:
   Kode              Produk     Harga  Stok
0  A01          Laptop Pro  14500000    12
1  A02      Mouse Wireless    250000    45
2  A03  Keyboard Mekanikal    850000    28
3  A04          Monitor 4K   4200000    15

Parameter Penting pada `pd.read_csv`:

sep atau delimiter: Menentukan pemisah kolom jika menggunakan titik koma (;) atau tab (\t).
usecols: Hanya membaca kolom-kolom tertentu untuk menghemat penggunaan RAM.
nrows: Membatasi jumlah baris yang dibaca (sangat berguna untuk mengintip sampel awal berkas raksasa berukuran gigabyte).
encoding: Mengatur standar pengkodean karakter, misalnya 'utf-8' atau 'latin1'.

# Contoh membaca hanya kolom 'Produk' dan 'Harga' serta membatasi 2 baris pertama
df_spesifik = pd.read_csv('daftar_produk.csv', usecols=['Produk', 'Harga'], nrows=2)
print("Baca Spesifik (Kolom Tertentu & Batas Baris):\n", df_spesifik)

Baca Spesifik (Kolom Tertentu & Batas Baris):
            Produk     Harga
0      Laptop Pro  14500000
1  Mouse Wireless    250000

2. Membaca Dataset Langsung dari URL Web (Online Dataset)

Fungsi pd.read_csv di Pandas dapat langsung menerima alamat tautan URL HTTP/HTTPS (seperti URL raw file di GitHub atau portal Open Data), sehingga Anda tidak perlu mengunduh berkas secara manual terlebih dahulu ke komputer.

# Membaca dataset publik langsung dari GitHub Raw URL
url_dataset = 'https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv'
df_online = pd.read_csv(url_dataset)

print(f"Dataset berhasil dimuat dari URL! Dimensi: {df_online.shape[0]} baris, {df_online.shape[1]} kolom.")
print("\n5 Baris Pertama:\n", df_online.head())

Dataset berhasil dimuat dari URL! Dimensi: 150 baris, 5 kolom.

5 Baris Pertama:
    sepal_length  sepal_width  petal_length  petal_width species
0           5.1          3.5           1.4          0.2  setosa
1           4.9          3.0           1.4          0.2  setosa
2           4.7          3.2           1.3          0.2  setosa
3           4.6          3.1           1.5          0.2  setosa
4           5.0          3.6           1.4          0.2  setosa

3. Mengunduh & Mengimpor Data Menggunakan Git (`git clone`)

Jika proyek riset atau tim Anda menyimpan kumpulan dataset, gambar, dan skrip pada repositori GitHub/GitLab, Anda dapat menarik seluruh repositori ke lingkungan kerja menggunakan perintah !git clone.

! git clone https://github.com/mwaskom/seaborn-data


df_repo = pd.read_csv('seaborn-data/titanic.csv')
print(f"Dataset berhasil dimuat")

Cloning into 'seaborn-data'...
remote: Enumerating objects: 208, done.[K
remote: Counting objects: 100% (60/60), done.[K
remote: Compressing objects: 100% (22/22), done.[K
remote: Total 208 (delta 46), reused 38 (delta 38), pack-reused 148 (from 2)[K
Receiving objects: 100% (208/208), 7.29 MiB | 26.48 MiB/s, done.
Resolving deltas: 100% (86/86), done.
Dataset berhasil dimuat

4. Menghubungkan & Mengakses Data dari Google Drive (Google Colab Workflow)

Pada lingkungan Google Colab, penyimpanan lokal bersifat sementara (ephemeral) dan akan hilang saat runtime di-restart. Untuk menyimpan atau memuat dataset berukuran besar secara persisten, praktisi data mengaitkan (mount) akun Google Drive ke Google Colab.

Langkah-Langkah Integrasi Google Drive di Colab:

Hubungkan Google Drive dengan modul bawaan google.colab.
Berikan izin akses saat muncul jendela verifikasi akun Google.
Seluruh folder dan berkas di Google Drive Anda akan tersedia di jalur direktori /content/drive/MyDrive/.

# Skrip khusus lingkungan Google Colab:
from google.colab import drive
drive.mount('/content/drive')

# Jalur akses dataset yang tersimpan di Google Drive:
path_file = '/content/drive/MyDrive/Pelatihan SPSS Potik/kapal_titanic.csv'
df_drive = pd.read_csv(path_file)
print(df_drive.head())

Drive already mounted at /content/drive; to attempt to forcibly remount, call drive.mount("/content/drive", force_remount=True).
   survived  pclass     sex   age  sibsp  parch     fare embarked deck
0         0       3    male  22.0      1      0   7.2500        S  NaN
1         1       1  female  38.0      1      0  71.2833        C    C
2         1       3  female  26.0      0      0   7.9250        S  NaN
3         1       1  female  35.0      1      0  53.1000        S    C
4         0       3    male  35.0      0      0   8.0500        S  NaN

5. Membaca & Mengekspor Format Microsoft Excel (`.xlsx`)

Selain CSV, berkas spreadsheet Microsoft Excel (.xlsx) sangat banyak digunakan dalam laporan bisnis. Untuk membaca dan menulis format Excel, Pandas membutuhkan modul pihak ketiga bernama openpyxl (pip install openpyxl).

Gunakan fungsi pd.read_excel() untuk membaca dan method df.to_excel() untuk mengekspor.

! pip install openpyxl


df_produk.to_excel('laporan_inventaris.xlsx', sheet_name='Ringkasan_Stok', index=False)

# Contoh membaca sheet tertentu dari berkas Excel:
df_excel = pd.read_excel('laporan_inventaris.xlsx', sheet_name='Ringkasan_Stok')

print("Fungsi Ekspor Excel: df.to_excel('laporan.xlsx', sheet_name='Sheet1', index=False)")
print("Fungsi Baca Excel  : pd.read_excel('laporan.xlsx', sheet_name='Sheet1')")

Requirement already satisfied: openpyxl in /usr/local/lib/python3.13/dist-packages (3.1.5)
Requirement already satisfied: et-xmlfile in /usr/local/lib/python3.13/dist-packages (from openpyxl) (2.0.0)
Fungsi Ekspor Excel: df.to_excel('laporan.xlsx', sheet_name='Sheet1', index=False)
Fungsi Baca Excel  : pd.read_excel('laporan.xlsx', sheet_name='Sheet1')

6. Membaca & Mengekspor Format JSON (`pd.read_json` & `df.to_json`)

JSON (JavaScript Object Notation) adalah format transmisi standar untuk integrasi API dan aplikasi web modern.

# 1. Ekspor DataFrame ke berkas JSON (orient='records' menyusun data per baris objek)
df_produk.to_json('daftar_produk.json', orient='records', indent=2)
print("Berkas 'daftar_produk.json' berhasil diekspor!")

# 2. Membaca kembali dari berkas JSON
df_json = pd.read_json('daftar_produk.json')
print("\nHasil Baca Berkas JSON:\n", df_json)

Berkas 'daftar_produk.json' berhasil diekspor!

Hasil Baca Berkas JSON:
   Kode              Produk     Harga  Stok
0  A01          Laptop Pro  14500000    12
1  A02      Mouse Wireless    250000    45
2  A03  Keyboard Mekanikal    850000    28
3  A04          Monitor 4K   4200000    15

7. Rangkuman Tabel Fungsi Impor & Ekspor Data

Sumber / Format	Fungsi Membaca (Import)	Fungsi Menyimpan (Export)	Kebutuhan Tambahan / Parameter Kunci
CSV Lokal	`pd.read_csv('file.csv')`	`df.to_csv('file.csv', index=False)`	`sep=';'`, `encoding='utf-8'`, `usecols`
URL Web / GitHub	`pd.read_csv('https://...')`	-	Mendukung protokol HTTP/HTTPS langsung
Git Clone	`!git clone <url_repo>` lalu `pd.read_csv(...)`	`git push` via CLI	Menarik seluruh folder repositori data
Google Drive	`from google.colab import drive` + `drive.mount('/content/drive')`	`df.to_csv('/content/drive/MyDrive/...')`	Khusus Google Colab untuk persistensi cloud
Excel (.xlsx)	`pd.read_excel('file.xlsx', sheet_name=...)`	`df.to_excel('file.xlsx', index=False)`	Memerlukan pustaka `openpyxl`
JSON	`pd.read_json('file.json')`	`df.to_json('file.json', orient='records')`	Format standar API web dan NoSQL

Impor & Ekspor Data (URL, Google Drive, Git, CSV)