APA SAJA TAHAPAN DALAM PRE-PROCESSING

 Penjelasan Tahapan Preprocessing Data


    Tahapan preprocessing data merupakan langkah-langkah penting dalam proses analisis data. Tujuan utama preprocessing data adalah untuk membersihkan, mengolah, dan memformat data agar siap untuk dianalisis. Berikut adalah penjelasan dari setiap tahapan preprocessing data:

1. Data Collection

Tahap pertama dalam preprocessing data adalah pengumpulan data. Data dapat diperoleh dari berbagai sumber, seperti:

  • Database internal: Data yang disimpan dalam database internal perusahaan, seperti data pelanggan, data penjualan, dan data transaksi.
  • Data eksternal: Data yang diperoleh dari sumber eksternal, seperti data publik, data web scraping, dan data media sosial.
  • Sumber data lainnya: Data yang diperoleh dari sumber lain, seperti survei, kuesioner, dan eksperimen.

2. Data Cleaning

Tahap selanjutnya adalah pembersihan data. Tujuan pembersihan data adalah untuk:

  • Menghapus data yang hilang atau tidak lengkap: Data yang hilang atau tidak lengkap dapat memengaruhi hasil analisis. Oleh karena itu, data ini perlu dihapus atau ditangani dengan teknik yang tepat.
  • Memperbaiki kesalahan data: Kesalahan data dapat berupa kesalahan ketik, format data yang tidak konsisten, dan outlier. Kesalahan data ini perlu diperbaiki agar tidak memengaruhi hasil analisis.
  • Menangani outlier: Outlier adalah data yang jauh dari nilai normal. Outlier dapat memengaruhi hasil analisis. Oleh karena itu, outlier perlu ditangani dengan teknik yang tepat.

3. Data Transformation

Tahap selanjutnya adalah transformasi data. Tujuan transformasi data adalah untuk:

  • Memformat data: Data perlu diformat agar sesuai dengan jenis analisis yang akan dilakukan. Contohnya, data numerik perlu diubah ke format yang sesuai untuk analisis statistik.
  • Menskalakan data: Data numerik perlu diskalakan agar nilainya berada dalam rentang yang sama. Hal ini penting agar semua variabel memiliki pengaruh yang sama terhadap hasil analisis.
  • Membuat variabel baru: Variabel baru dapat dibuat dari variabel yang ada. Contohnya, variabel usia dapat diubah menjadi variabel kategori usia.

4. Data Reduction

Tahap selanjutnya adalah reduksi data. Tujuan reduksi data adalah untuk:

  • Mengurangi jumlah data: Jumlah data yang besar dapat memperlambat proses analisis. Oleh karena itu, jumlah data perlu dikurangi dengan teknik yang tepat.
  • Meningkatkan performa model: Reduksi data dapat meningkatkan performa model pembelajaran mesin.

Contoh Data Collection


Contoh Data Cleaning




Contoh Data Transformation

Berikut contoh untuk data transformation, gambar  pertama menjelankan kode untuk mengganti jenis kelamin yang semula bernilai 1 dan 0 menjadi 1 untuk laki-laki dan 0 untuk perempuan. Gambar kedua menghapus data mahasiswa pindahan.



Contoh Data Reduction

Berikut contoh data reduction untuk menghapus nilai yang duplikat






Komentar

Posting Komentar

Postingan populer dari blog ini

Studi Kasus Data Mining Dalam Menentukan Tingkat Kelulusan Mahasiswa

Gambar
Studi Kasus:  Anda diberikan data transkrip nilai dan data lulusan dari universitas melalui API. Data transkrip nilai mencakup detail nilai yang diperoleh mahasiswa untuk mata kuliah yang diambil. Data lulusan memberikan informasi demografis dan akademik mahasiswa, termasuk tanggal masuk dan lulus, serta predikat kelulusan. (API Dokumentasi :  https://documenter.getpostman.com/view/6355959/2sA35HY1XM  atau dapat di lihat pada bagian FInal Project Information ). 1. Integrasi dan Pembersihan Data. Cari IPS setiap semester permahasiswa. ini bisa memudahkan untuk normalisasi data Gabungkan IPS permahasiswa dengan dataset yang lainya ("ms_lulusan") berdasarkan NIM. Tambahkan hasil dari durasi studi masing-masing mahasiswa Lakukan pembersihan data, termasuk mengidentifikasi dan mengatasi nilai yang hilang atau tidak konsisten dalam data. Hilangkan mahasiswa pindahan. Standardisasi format tanggal dan jenis kelamin untuk analisis lebih lanjut. 2. Analisis Cari pola atau tren yang pal
Baca selengkapnya

30 JENIS ALGORITMA SUPERVISED LEARNING (PREDIKSI)

Penjelasan Tentang Pembelajaran Supervised Learning Pembelajaran Supervised Learning adalah salah satu jenis metode pembelajaran mesin (machine learning) yang paling umum digunakan. Dalam pembelajaran terawasi, model dilatih menggunakan dataset yang sudah memiliki label atau jawaban yang benar. Tujuannya adalah untuk mengajarkan model agar dapat memprediksi output atau label yang benar untuk input baru yang belum pernah dilihat sebelumnya. Komponen Utama dalam Supervised Learning: Data Pelatihan (Training Data) : Input (Fitur atau Variabel Independem) : Merupakan atribut atau karakteristik yang digunakan untuk membuat prediksi. Biasanya dilambangkan dengan X X X . Output (Label atau Variabel Dependen) : Merupakan hasil atau kategori yang ingin diprediksi oleh model. Biasanya dilambangkan dengan Y Y Y . Model Pembelajaran Mesin : Model adalah algoritma yang digunakan untuk mempelajari hubungan antara input dan output dari data pelatihan. Model ini kemudian digunakan untuk memprediksi ou
Baca selengkapnya

Apa Itu Entitas, Atribut dan Relasi Dalam ERD

Gambar
Apa Itu Entitas, Atribut dan Relasi di Dalam ERD                                                Sumber : https://www.ekrut.com/ Dalam pembuatan database, ternyata diperlukan satu komponen penting bernada ERD yang wajib dibuat. Diagram relasi ini bisa dikatakan hal paling mendasar dalam penyimpanan atau menyusun informasi berbasis data. Sebenarnya, apa itu ERD? ERD (Entity Relationship Diagram) ERD (Entity Relationship Diagram) adalah model atau rancangan untuk membuat database, supaya lebih mudah dalam menggambarkan data yang memiliki hubungan atau relasi dalam bentuk sebuah desain. Dengan adanya ERD, maka sistem database yang terbentuk dapat digambarkan dengan lebih terstruktur dan rapi Komponen ERD ERD biasanya erat kaitannya dengan DFD (Data Flow Diagram) untuk menampilkan sebuah data store. Tujuannya untuk memvisualisasikan bagaimana proses data dapat saling terhubung dan dapat mengkontruksi data relasional. Berikut adalah beberapa komponen penting dalam ERD yaitu sebagai berikut:
Baca selengkapnya