Tugas 4 Pengantar Komputasi Modern

Pengertian Komputasi Paralel
Komputasi paralel adalah salah satu teknik melakukan komputasi secara bersamaan dengan memanfaatkan beberapa komputer independen secara bersamaan. Ini umumnya diperlukan saat kapasitasi yang diperlukan sangat besar, baik karena harus mengolah data dalam jumlah besar (di indsutri keuanganm, bioinformatika, dll) ataupun karena tuntutan proses komputasi yang banyak. Kasus kedua umum ditemui di kalkulasi numeric untuk menyelesaikan persamaan matematis di bidang fisika (fisika komputasi), kimia (kimia komputasi) dll.

Review Jurnal

Judul Jurnal:

FiM: Performance Prediction for Parallel Computation in Iterative Data Processing Applications

Link Jurnal:
https://www.researchgate.net/publication/316983994_FiM_Performance_Prediction_Model_for_Parallel_Computation_in_Iterative_Data_Processing_Applications

Abstraksi:

Predicting  performance  of  an  application  runningon  high  performance  computing  (HPC)  platforms  in  a  cloud environment  is  increasingly  becoming  important  because  of  itsinfluence on development time and resource management. How-ever, predicting the performance with respect to parallel processes is  complex  for  iterative,  multi-stage  applications.  This  research proposes  a  performance  approximation  approach FiM to  model the computing performance of iterative, multi-stage applications running  on  a  master-compute  framework.  FiM  consists  of  two key  components  that  are  coupled  with  each  other:  1)  Stochastic Markov  Model  to  capture  non-deterministic  runtime  that  often depends   on   parallel   resources,   e.g.,   number   of   processes.   2)Machine  Learning  Model  that  extrapolates  the  parameters  for calibrating our Markov model when we have changes in application  parameters  such  as  dataset. The major contribution  of  our  prediction  approach  is  that  FiM  is  able  to provide  an  accurate  prediction  of  parallel  computation  time  for the datasets which have much larger size than that of the training datasets.  Such  calculation  prediction  provides  data  analysts  auseful insight of optimal configuration of parallel resources (e.g.,number of processes and number of cores) and also helps system designers  to  investigate  the  impact  of  changes  in application parameters on system  performance.

Terjemahan:

Memprediksi kinerja sebuah aplikasi yang berjalan di platform komputasi berperforma tinggi (HPC) di lingkungan awan semakin menjadi penting karena pengaruhnya terhadap waktu pengembangan dan pengelolaan sumber daya. Bagaimana pun, memprediksi kinerja sehubungan dengan proses paralel sangat kompleks untuk aplikasi multi-tahap yang berulang. Penelitian ini mengusulkan pendekatan pendekatan kinerja FiM untuk memodelkan kinerja komputasi dari aplikasi multi-stage iteratif yang berjalan pada kerangka master-compute. FiM terdiri dari dua komponen utama yang digabungkan satu sama lain: 1) Model Stochastic Markov untuk menangkap runtime non-deterministik yang sering bergantung pada sumber daya paralel, misalnya jumlah proses. 2) Model Belajar Mesin yang mengekstrapolasi parameter untuk mengkalibrasi model Markov kita bila kita memiliki perubahan pada parameter aplikasi seperti dataset. Kontribusi utama dari pendekatan prediksi kami adalah bahwa FiM mampu memberikan prediksi yang akurat mengenai waktu komputasi paralel untuk dataset yang memiliki ukuran jauh lebih besar daripada dataset pelatihan. Prediksi perhitungan tersebut memberi analis data wawasan yang bagus tentang konfigurasi optimal sumber daya paralel (mis., Jumlah proses dan jumlah inti) dan juga membantu perancang sistem untuk menyelidiki dampak perubahan pada parameter aplikasi pada kinerja sistem.

Isi Pembahasan Jurnal:

Layanan High Performance Computing (HPC) pada awan ada di mana-mana dalam memproses aplikasi ilmiah yang melibatkan dataset besar. Bagaimana mencapai kinerja terbaik dengan konfigurasi sumber daya paralel yang optimal (misalnya jumlah proses dan jumlah inti) adalah masalah penelitian yang menantang. Saat ini, periset menjalankan kode aplikasinya pada parameter tipikal, memperbaiki parameter aplikasi, dan mencoba berbagai konfigurasi sumber daya paralel. Untuk menentukan yang optimal. Namun, jika kita ingin lebih mengetahui parameter aplikasi yang optimal, maka penyelidikan perlu mempertimbangkan semua kemungkinan kombinasi parameter aplikasi dan sumber paralel. Investigasi semacam itu di lingkungan awan menjadi sangat mahal, membutuhkan sejumlah besar sumber daya waktu dan perangkat keras. Selain itu, di HPC, menggunakan sumber daya paralel lebih banyak tidak menjamin peningkatan kinerja. Oleh karena itu, dapat bermanfaat jika kita dapat memperkirakan titik kinerja optimal dalam hal sumber daya paralel, parameter aplikasi, dan dataset. Prediksi kinerja yang diharapkan sebelum porting implementasi aktual pada platform awan dapat menghemat waktu dan sumber daya yang dihabiskan untuk menemukan titik kinerja optimal secara eksperimental.

Deskripsi Sistem

Kami memodelkan perhitungan paralel dalam aplikasi pengolahan data multi-tahap yang berulang-ulang, berjalan pada kerangka master-compute seperti yang ditunjukkan pada Gambar 3. Setiap node yang dihitung adalah CPU yang memiliki banyak core dan masing-masing inti dapat mendukung banyak proses MPI.

Salah satu node dideklarasikan sebagai master untuk menangani kontrol pengolahan. Sisa node semua menghitung node yang melakukan perhitungan paralel. Master node mengakses aplikasi dan dataset untuk menentukan distribusi pemrosesannya di antara proses node hitung. Proses-proses pada node perhitungan beroperasi secara paralel untuk menghitung nilai rata-rata lokal mereka. Fase paralel semacam itu dikenal sebagai satu tahap dalam model kita. Pada akhir setiap tahap, simpul master mengumpulkan hasil dari setiap proses dan menyiarkan tugas baru ke setiap proses pada node perhitungan untuk tahap berikutnya. Dalam penelitian ini, kami berkonsentrasi untuk memprediksi waktu komputasi paralel dari aplikasi iteratif dan multi-tahap yang berjalan dalam platform master-compute dengan sinkronisasi global.