Materi PARALLEL COMPUTATION

Pendapat yang dikemukakan Gustafson hampir sama dengan Amdahl, tetapi dalam pemikiran Gustafson, sebuah komputasi paralel berjalan dengan menggunakan dua atau lebih mesin untuk mempercepat penyelesaian masalah dengan memperhatikan faktor eksternal, seperti kemampuan mesin dan kecepatan proses tiap-tiap mesin yang digunakan

Berikut ini adalah gambar perbedaa antara komputasi tunggal dengan parallel komputasi :

https://erarahma.wordpress.com/2015/06/26/distribusi-processing/

 Architectural Parallel Computing

Architectural Parallel Computing – Model

Parallel processing telah dikembangkan sebagai teknologi yang efektif di komputer modern untuk memenuhi permintaan akan kinerja yang lebih tinggi, biaya lebih rendah dan hasil yang akurat dalam aplikasi kehidupan nyata. Peristiwa serentak umum terjadi di komputer saat ini karena praktik multiprogramming, multiprocessing, atau multicomputing.

Komputer modern memiliki paket perangkat lunak yang kuat dan ekstensif. Untuk menganalisa perkembangan kinerja komputer, pertama kita harus memahami perkembangan dasar perangkat keras dan perangkat lunak.

            Tonggak Perkembangan Komputer - Ada dua tahap utama pengembangan komponen komputer - mekanik atau elektromekanis. Komputer modern berevolusi setelah diperkenalkannya komponen elektronik. Elektron mobilitas tinggi di komputer elektronik menggantikan bagian operasional di komputer mekanis. Untuk transmisi informasi, sinyal listrik yang melaju hampir pada kecepatan lampu diganti mekanis gigi atau tuas.

            Elemen komputer modern - Sistem komputer modern terdiri dari perangkat keras komputer, set instruksi, program aplikasi, perangkat lunak sistem dan antarmuka pengguna.

Unsur Sistem Komputer Modern

Masalah komputasi dikategorikan sebagai komputasi numerik, penalaran logis, dan pemrosesan transaksi. Beberapa masalah kompleks mungkin memerlukan kombinasi dari ketiga mode pemrosesan.

             Evolusi Arsitektur Komputer - Dalam empat dekade terakhir, arsitektur komputer telah mengalami perubahan revolusioner. Kami memulai dengan arsitektur Von Neumann dan sekarang kami memiliki multicomputers dan multiprocessors.

             Kinerja sistem komputer - Kinerja suatu sistem komputer bergantung pada kemampuan mesin dan perilaku program. Kemampuan mesin dapat ditingkatkan dengan teknologi perangkat keras yang lebih baik, fitur arsitektur yang canggih dan pengelolaan sumber daya yang efisien. Perilaku program tidak dapat diprediksi karena bergantung pada kondisi aplikasi dan run-time

Multiprocessors dan Multicomputers

Pada bagian ini, kita akan membahas dua jenis komputer paralel -

Shared-Memory Multicomputers

Tiga model multiprocessors memori bersama yang paling umum adalah -Uniform Memory Access (UMA)

Dalam model ini, semua prosesor berbagi memori fisik secara seragam. Semua prosesor memiliki waktu akses yang sama untuk semua kata memori. Setiap prosesor mungkin memiliki memori cache pribadi. Aturan yang sama diikuti untuk perangkat periferal.

Akses Memori Non-seragam (NUMA)

Dalam model multiprosesor NUMA, waktu akses berbeda dengan lokasi kata memori. Di sini, memori bersama didistribusikan secara fisik di antara semua prosesor, yang disebut kenangan lokal. Koleksi semua kenangan lokal membentuk ruang alamat global yang bisa diakses oleh semua pengolah.

NUMA Model untuk Sistem Multiprosesor

Arsitektur Memori Cache Only (COMA)

Model COMA adalah kasus khusus model NUMA. Di sini, semua kenangan utama yang terdistribusi diubah menjadi kenangan cache.

Model COMA Multiprosesor

             Distributed - Memory Multicomputers - Sistem multicomputer memori terdistribusi terdiri dari beberapa komputer, dikenal sebagai node, saling terhubung melalui jaringan message passing. Setiap node bertindak sebagai komputer otonom yang memiliki prosesor, memori lokal dan kadang-kadang perangkat I / O. Dalam kasus ini, semua kenangan lokal bersifat pribadi dan hanya dapat diakses oleh prosesor lokal. Inilah sebabnya, mesin tradisional disebut mesin tidak-remote-memory-access (NORMA).

Model Generik dari sebuah Pesan yang Melewati Multiprosesor

Komputer Multivektor dan SIMD

Pada bagian ini, kita akan membahas superkomputer dan prosesor paralel untuk pemrosesan vektor dan paralelisme data.

Vektor superkomputer

Pada komputer vektor, prosesor vektor terpasang pada prosesor skalar sebagai fitur opsional. Komputer host pertama memuat program dan data ke memori utama. Kemudian unit kontrol skalar menerjemahkan semua instruksi. Jika instruksi yang didekode adalah operasi skalar atau operasi program, prosesor skalar menjalankan operasi yang menggunakan pipa fungsional skalar.Di sisi lain, jika instruksi yang diterjemahkan adalah operasi vektor maka instruksi akan dikirim ke unit kontrol vektor.

Arsitektur komputer Vector Super

Superkomputer SIMD

Di komputer SIMD, jumlah prosesor 'N' terhubung ke unit kontrol dan semua prosesor memiliki unit memori masing-masing. Semua prosesor dihubungkan oleh jaringan interkoneksi.

Model Operasional Komputer SIMD

Model PRAM dan VLSI

Model ideal memberikan kerangka kerja yang sesuai untuk mengembangkan algoritma paralel tanpa mempertimbangkan batasan fisik atau rincian implementasi.

Model dapat ditegakkan untuk mendapatkan batas kinerja teoritis pada komputer paralel atau untuk mengevaluasi kompleksitas VLSI pada area chip dan waktu operasional sebelum chip dibuat.

Mesin Random-Access Paralel

Sheperdson dan Sturgis (1963) memodelkan komputer Uniprocessor konvensional sebagai random-access-machines (RAM). Fortune dan Wyllie (1978) mengembangkan model parallel random access-machine (PRAM) untuk memodelkan sebuah komputer paralel ideal dengan akses memori nol dan sinkronisasi.

Model PRAM

PRAM prosesor N memiliki unit memori bersama. Memori bersama ini bisa dipusatkan atau didistribusikan antar prosesor. Prosesor ini beroperasi pada siklus baca-memori, menulis-memori dan perhitungan yang sinkron. Jadi, model ini menentukan bagaimana operasi baca dan tulis bersamaan ditangani.

Berikut adalah operasi pembaruan memori yang mungkin -

Model Kompleksitas VLSI

Komputer paralel menggunakan chip VLSI untuk membuat array prosesor, array memori dan jaringan switching berskala besar.

Saat ini, teknologi VLSI 2 dimensi. Ukuran chip VLSI sebanding dengan jumlah ruang penyimpanan (memori) yang tersedia di chip itu.

Kita dapat menghitung kompleksitas ruang dari sebuah algoritma oleh area chip (A) dari implementasi chip VLSI dari algoritma tersebut. Jika T adalah waktu (latency) yang dibutuhkan untuk mengeksekusi algoritma, maka A.T memberikan batas atas pada jumlah bit yang diproses melalui chip (atau I / O). Untuk komputasi tertentu, ada batas bawah, f (s), sehingga

A.T2> = O (f (s))

Dimana A = daerah chip dan T = waktu

Trek Pengembangan Arsitektu

Evolusi komputer paralel yang saya sebarkan di sepanjang jalur berikut -

    Beberapa Prosesor Trek

        Jalur multiprosesor

        Trek multicomputer

    Beberapa jalur data

        Jalur vektor

        Trek SIMD

    Beberapa jalur benang

        Jalur multithreaded

        Jalur dataflow

Di beberapa jalur prosesor, diasumsikan bahwa benang yang berbeda dijalankan bersamaan pada prosesor yang berbeda dan berkomunikasi melalui memori bersama (multiprocessor track) atau sistem passing message (multicomputer track).

Dalam beberapa jalur data, diasumsikan bahwa kode yang sama dijalankan pada sejumlah besar data. Hal ini dilakukan dengan menjalankan instruksi yang sama pada urutan elemen data (vector track) atau melalui eksekusi urutan instruksi yang sama pada kumpulan data yang serupa (track SIMD).

Di beberapa jalur benang, diasumsikan bahwa eksekusi interleaved dari berbagai benang pada prosesor yang sama untuk menyembunyikan penundaan sinkronisasi di antara benang yang dijalankan pada prosesor yang berbeda. Thread interleaving bisa kasar (multithreaded track) atau fine (jalur dataflow).

 Thread Programming

Pengantar Thread Programming

Dalam pemrograman komputer, sebuah thread adalah informasi terkait dengan penggunaan sebuah program tunggal yang dapat menangani beberapa pengguna secara bersamaan. Dari program point-of-view, sebuah thread adalah informasi yang dibutuhkan untuk melayani satu pengguna individu atau permintaan layanan tertentu. Jika beberapa pengguna menggunakan program atau permintaan bersamaan dari program lain yang sedang terjadi, thread yang dibuat dan dipelihara untuk masing-masing proses. Thread memungkinkan program untuk mengetahui user sedang masuk didalam program secara bergantian dan akan kembali masuk atas nama pengguna yang berbeda. Salah satu informasi thread disimpan dengan cara menyimpannya di daerah data khusus dan menempatkan alamat dari daerah data dalam register. Sistem operasi selalu menyimpan isi register saat program interrupted dan restores ketika memberikan program kontrol lagi.

Sebagian besar komputer hanya dapat mengeksekusi satu instruksi program pada satu waktu, tetapi karena mereka beroperasi begitu cepat, mereka muncul untuk menjalankan berbagai program dan melayani banyak pengguna secara bersamaan. Sistem operasi komputer memberikan setiap program “giliran” pada prosesnya, maka itu memerlukan untuk menunggu sementara program lain mendapat giliran. Masing-masing program dipandang oleh sistem operasi sebagai suatu tugas dimana sumber daya tertentu diidentifikasi dan terus berlangsung. Sistem operasi mengelola setiap program aplikasi dalam sistem PC (spreadsheet, pengolah kata, browser Web) sebagai tugas terpisah dan memungkinkan melihat dan mengontrol item pada daftar tugas. Jika program memulai permintaan I / O, seperti membaca file atau menulis ke printer, itu menciptakan thread. Data disimpan sebagai bagian dari thread yang memungkinkan program yang akan masuk kembali di tempat yang tepat pada saat operasi I / O selesai. Sementara itu, penggunaan bersamaan dari program diselenggarakan pada thread lainnya. Sebagian besar sistem operasi saat ini menyediakan dukungan untuk kedua multitasking dan multithreading. Mereka juga memungkinkan multithreading dalam proses program agar sistem tersebut disimpan dan  menciptakan proses baru untuk setiap thread.

Static Threading

Teknik ini biasa digunakan untuk komputer dengan chip multiprocessors dan jenis komputer shared-memory lainnya. Teknik ini memungkinkan thread berbagi memori yang tersedia, menggunakan program counter dan mengeksekusi program secara independen. Sistem operasi menempatkan satu thread pada prosesor dan menukarnya dengan thread lain yang hendak menggunakan prosesor itu.

Mekanisme ini terhitung lambat, karenanya disebut dengan static. Selain itu teknik ini tidak mudah diterapkan dan rentan kesalahan. Alasannya, pembagian pekerjaan yang dinamis di antara thread-thread menyebabkan load balancing-nya cukup rumit. Untuk memudahkannya programmer harus menggunakan protocol komunikasi yang kompleks untuk menerapkan scheduler load balancing. Kondisi ini mendorong pemunculan concurrency platforms yang menyediakan layer untuk mengkoordinasi, menjadwalkan, dan mengelola sumberdaya komputasi paralel.

Sebagian platform dibangun sebagai runtime libraries atau sebuah bahasa pemrograman paralel lengkap dengan compiler dan pendukung runtime-nya.

Dynamic Multithreading

Teknik ini merupakan pengembangan dari teknik sebelumnya yang bertujuan untuk kemudahan karena dengannya programmer tidak harus pusing dengan protokol komunikasi, load balancing, dan kerumitan lain yang ada pada static threading. Concurrency platform ini menyediakan scheduler yang melakukan load balacing secara otomatis. Walaupun platformnya masih dalam pengembangan namun secara umum mendukung dua fitur : nested parallelism dan parallel loops. Nested parallelism memungkinkan sebuah subroutine di-spawned (ditelurkan dalam jumlah banyak seperti telur katak) sehingga program utama tetap berjalan sementara subroutine menghitung hasilnya. Sedangkan parallel loops seperti halnya fungsi for namun memungkinkan iterasi loop dilakukan secara bersamaan.

https://myoanita.wordpress.com/2016/05/02/pengantar-thread-programming/ http://djuneardy.blogspot.co.id/2015/05/konsep-arsitektur-paralel-pemrosesan.html disi.unal.edu.co

 Pengantar Massage Passing, OpenMP

Pengantar Massage Passing

Message Passing merupakan sebuah bentuk dari komunikasi yang digunakan di komputasi paralel, OOT (Object Oriented Programming) atau Pemrograman Berbasis Objek dan komunikasi interproses. MPI adalah sebuah standard pemrograman yang memungkinkan pemrogram untuk membuatsebuah aplikasi yang dapat dijalankan secara paralel. Proses yang dijalankan oleh sebuah aplikasi dapat dibagi untuk dikirimkan ke masing – masing compute node yang kemudian masing – masing compute node tersebut mengolah dan mengembalikan hasilnya ke komputer head node.Untuk merancang aplikasi paralel tentu membutuhkan banyak pertimbangan - pertimbangandiantaranya adalah latensi dari jaringan dan lama sebuah tugas dieksekusi oleh prosesor .

Terdapat beberapa metode dalam pengiriman pesan yaitu :

Pengirim menunggu untuk mengirim pesan sampai penerima siap untuk menerima pesan. Oleh karena itu tidak ada buffering. Selain itu Pengirim tidak bisa mengirim pesan untuk dirinya sendiri.

Pengirim akan mengirim pesan kapanpun dia mau. Pengirim tidak peduli ketika penerima belum siap untuk menerima pesan. Oleh karena itu diperlukan buffering untuk menampung pesan sementara sampai penerima siap menerima pesan. Selain itu pengirim dapat pesan untuk dirinya sendiri.

OpenMP

OpenMP merupakan antarmuka pemrograman aplikasi(API) yang mendukung multi-platform berbagi memori multiprocessing pemrograman C , C + + , dan Fortran , pada kebanyakan arsitektur prosesor dan system operasi , termasuk Solaris , AIX , HP-UX , GNU / Linux , Mac OS X , dan Windows platform. Ini terdiri dari satu set perintah kompiler, rutinitas library, dan variable lingkungan yang mempengaruhi perilaku run-time. OpenMP dikelola oleh nirlaba teknologi konsorsium OpenMP Arsitektur Review Board (ARB atau OpenMP), bersama-sama didefinisikan oleh sekelompok perangkat keras komputer utama dan vendor perangkat lunak, termasuk AMD , IBM , Intel , Cray , HP , Fujitsu , Nvidia , NEC , Microsoft , Texas Instruments , Oracle Corporation , dan banyak lagi.

http://debelist.blogspot.co.id/2016/05/parallel-computation-pengantar-message.html

http://syahrin-alf.blogspot.co.id/2016/05/apa-itu-parallel-computation.html

http://irfanprijanto.blogspot.co.id/2016/06/message-passing-dan-openmp.html

Pengantar Pemrograman CUDA GPU

Pengantar Pemrograman CUDA GPU

Pada awal perkembangan komputer, CPU masih memegang peranan penting dalam pemrosesan komputasi umum maupun grafis. Namun setelah perkembangan grafis yang semakin meluas, kinerja CPU menjadi menurun karena harus melakukan rendering grafis. Pada awal 1980 dibuat hardware khusus untuk mengolah grafis yang dinamakan Graphical Processing Unit (GPU). Pada mulanya GPU hanya digunakan untuk rendering grafis 2D maupun 3D. Seiring dengan perkembangan grafis yang makin meluas serta kebutuhan untuk rendering yang mendekati waktu proses realtime, kemampuan GPU pun turut meningkat. Akselerasi peningkatan GPU tersebut bahkan lebih cepat daripada peningkatan CPU itu sendiri sehingga pada akhirnya GPU sekarang tidak hanya untuk melakukan rendering saja melainkan bisa untuk proses komputasi secara umum. Berbeda dengan Central Processing Unit (CPU) yang harus siap untuk menjalankan berbagai instruksi program, GPU dirancang untuk melakukan banyak operasi secara paralel. Hal ini dikarenakan GPU dirancang untuk menghitung dan menyajikan pixel-pixel gambar yang akan ditampilkan, dimana tiap pixelnya tidak saling berhubungan. Dengan kemampuan eksekusi paralel secara massif tersebut maka GPU dapat dimanfaatkan dengan CUDA.

Compute Unified Device Architecture atau biasa disebut dengan CUDA merupakan teknologi pemrosesan paralel yang cepat, murah, dan efisien yang dikembangkan oleh produsen kartu grafis Nvidia sejak tahun 2006. CUDA memiliki arsitektur berbasis General Purpose Graphics Processing Unit (GPGPU) yang mempermudah utilitasi GPU untuk memproses aplikasi grafis maupun non-grafis. Arsitektur tersebut memungkinkan programmer maupun pengembang perangkat lunak untuk membuat program yang berjalan pada GPU sehingga kemampuan prosesing GPU dapat dimanfaatkan untuk mengakselerasi komputasi program. Program-program tersebut akan dipecah menjadi banyak eksekusi paralel sehingga prosesnya menjadi lebih cepat. Beberapa program saintifik yang dapat dilakukan untuk memanfaatkan akselerasi ini diantaranya adalah Computational Fluid Dynamics (CFD), Molecular Dynamics, Seismic Simulation, Image Processing dan Video Processing, serta Simulasi Finansial dan Saham. Selain itu, saat ini juga sudah banyak software yang mendukung akselerasi dengan CUDA seperti MATLAB, Blender, Anaconda, dll.

Bahasa yang digunakan untuk pemrograman CUDA adalah bahasa C. Pada pemrograman C biasa, sintaks akan diproses oleh kompiler C, sedangkan sintaks dengan keyword CUDA akan diproses oleh kompiler CUDA (nvcc). Adapun keunggulan yang dimiliki CUDA yaitu: