BAB I
PENDAHULUAN
1.1 Latar Belakang
Masalah
Dalam perkembangan teknologi terutama dalam dalam bidang
informatika saat ini, manusia semakin mudah dalam melakukan pekerjaannya.
Sistem bersensor ganda (multi sensor) menggunakan lebih dari satu kanal sensor
/ interaksinya. Contoh : suara , teks, hypertext, animasi , video, gerak
isyarat, penglihatan (lewat mata), dan lain-lain.Digunakan dalam berbagai
aplikasi yang umumnya bekerja baik untuk pengguna dengan kebutuhan spesial. Dan
juga untuk kenyataan buatan (virtual reality).
1.2 Rumusan
Masalah
1. Apa yang di
maksud Usable sensory inputs,multi-modal dan multi-media system?
2. Apa itu Usable
sensory inputs,multi-modal dan multi-media system?
3. Apa yang di
maksud Non-speech sound?
4. Apa yang di
maksud Pengenalan tulisan tangan?
5. Apa yang di
maksud Test,hypertext dan hypermedia?
6. Apa itu
Animasi dan video?
7. Apa yang di
maksud Pengenalan gerak dan komputer vision?
8. Bagaimana cara
kerja aplikasi multi media system?
1.3 Tujuan Masalah
1. Menjelaskan
tentang Usable sensory inputs,multi-modal dan multi-media system
2. Menjelaskan
Usable sensory inputs,multi-modal dan multi-media system
3. Mengetahui
yang di maksud dengan Non-speech sound
4. Mengetahui
cara Pengenalan tulisan tangan
5. Menjelaskan
pengertian Test,hypertext dan hypermedia
6. Menjelaskan
Animasi dan video
7. Menjelaskan
Pengenalan gerak dan komputer vision
8. Menjelaskan
cara kerja aplikasi multi media system
BAB II
PEMBAHASAN
2.1 Usable sensory
inputs, Multi-modal & multi media system
Penggunaan saluran sensor secara bersamaan akan meningkatkan
bandwidth interaksi antara manusia dan komputer. Hal ini juga akan membuat
interaksi manusia-komputer menjadi seperti interaksi antara manusia dan
lingkungannya.
1. Usable sensory
input
Ada 5 yaitu:
a. Berkenaan
dengan penglihatan (visual), merupakan sensor yang paling utama digunakan dalam
komunikasi.
b. Suara (sound),
digunakan terbatas pada beberapa interface misal; suara “beep” digunakan sebagai “warning”
c. Pendengaran
(hearing), digunakan dalam kehidupan sehari-hari sehingga perluasan aplikasi ke
interface dapat bermanfaat.
d. Rasa(taste)
e. Bau (smell),
merupan sensor yang paling sedikit digunakan karena digunakan sebagai penerima
informasi dari pada untuk komunikasi.
2. Multi-modal
dan multi-media system
Multi-modal system dikembangkan untuk mengambil keuntungan
atas indera alami manusia. Dengan menggunakan lebih dari 1 indera atau mode
komunikasi, sistem ini lebih memberdayakan penggunaan auditory channel (jalur yang berhubungan dengan pendengaran,
suara). Multimedia system menggunaan sejumlah media yang berbeda untuk
mengkomunikasikan informasi. Yaitu:
a. Sound
b. Video
c. Text
d. Grafik
e. Icon
f. Animasi
g. CD-i
Multimedia system sering disebut juga sebagai Multi-modal,
tapi tidak selalu.
2.2 Speech pada
Inteface
Berguna untuk keadaan:
a. Tangan si
pembicara sibuk
b. Diinginkan
mobilitas
c. Mata si
pembicara harus memperhatikan sesuatu
d. Kondisi yang
keras atau terkungkung yang tidak memungkinkan penggunaan keyboard.
1. Struktur
Perkataan(structure of speech)
Struktur dasar:
a. Bahasa Inggris
terdiri dari 40 phonem.
b. Tiap phonem
merepresentasikan suara/bunyi yang berbeda (24
konsonan dan 16 vokal)
Perubahan pada bunyi dan kualitas phonem disebut prosody
(intonasi) dan
digunakan untuk menyampaikan banyak arti dan nuansa emosi
pada suatu kalimat. Prosody memberikan kekayaan dan tekstur bahasa, tapi
sangatsulit untuk dihitung secara kuantitas,
Co-articulation adalah cara keluarnya suara akibat dari
gerakan mulut, hidung dan kecepatan bicara.Co-articulation dapat menghasilkan
berbagai macam suara yang dapat digunakan untuk membentuk allophone. Allophone
melambangkan semua bunyi-bunyian dalam sebuah bahasa.
2. Pengenalan
perkataan (speech recognition)
Banyak usaha untuk membangun Speech Recognition System, tapi
banyak
menemui
ketidaksuksesan.
Penyebab ketidaksuksesan tersebut adalah:
a) Kompleksitas
dari bahasa.
b) Sebab
lain yang lebih mengarah ke seharian adalah masalah yang
berkaitan dengan pengenalan secara otomatis kata yang
diucapkan.Suara-suara background akan dapat mempengaruhi input, yaitu akan
menutupi atau mengganggu informasi. Pembicara yang tidak jelas dapat memberikan
redudansi atau suara yang tidak berarti ke dalam informasi dengan cara
mengulang kata-katanya, berhenti atau menggunakan suara-suara seperti “Ummm”
dan “Errrr” untuk mengisi jeda pada suatu pembicaraan.
c) Variasi
individu. Orang mempunyai suara yang unik, dan sistem yang
diarahkan untuk sensitif terhadap variasi dan frekuensi dari suara
pembicara yang sudah biasa dikenal oleh sistem dapat gagal untukmengenali
pembicara yang baru.
d) Aksen dan
penggunaan bahasa yang berbeda dapat menyebabkan masalah yang serius pada
sistem.
Menimbang Speech Recognition dari sisi Multi Modal
Interaction tidak ragu
bahwa ini dapat menawarkan pilihan berkomunikasi untuk
menambah caran yang sudah ada. Ketika tangan user sibuk, berbicara mungkin
dapat menjadi media input yang ideal. Berbicara tidak membutuhkan keyboard
sehingga dalam situasi yang tertentu ada potensi untuk menggunakan sistem
seperti itu. Sistem ini juga memberikan alternatif bagi user yang mempunyai
cacat fisik. Seperti penderita Dyslexia. Sampai saat ini, sistem seperti ini
belum begitu sukses untuk penggunaan
umum, apalagi untuk
dikomersilkan.
3. Perkataan
Buatan(speech synthesis)
Speech synthesis merupakan pelengkap dari speech
recognition. Ide agar dapat berbicara dengan komputer merupakan hal yang
menarik bagi banyak user, khususnya bagi mereka yang tidak bisa komputer.
Masalah yang ada pada speech synthesis:
a) User sangat
sensitif terhadap variasi dan informasi bicara. Sebab itu mereka tidak dapat
mentolerir ketidaksempurnaan pada speech synthesis.
b) Output dalam
bentuk suara (spoken output) tidak dapat diulang atau di
browse dengan mudah.
c) Meningkatkan
noise (berisik) pada lingkungan kantor. Atau bila menggunakan headphone akan
meningkatkan biaya.
Lingkungan aplikasi speech synthesis:
a) Bagi tuna
netra, speech synthesis menawarkan media komunikasi dimana mereka memiliki
akses yang tidak terbatas.
b) Lingkungan
dimana visual dan haptic skill user sedang terfokus pada
hal lain. Contohnya signal bahaya pada aircraft cockpit.
2.3 Non-Speech Sound
Digunakan sebagai alarm dan warning, atau status
information. Penampilan informasi yang redundan dapat meningkatkan kinerja
user. Contohnya, user dapat mengingat suara yang mencerminkan icon tertentu,
tapi bukan tampilan visualnya.
Ketidakjelasan satu mode dapat dipecahkan dengan mengunakan
informasi yang ditampilkan melalui media lain. Misal: speech recognition system
juga menggunakan kamera untuk merekam gerakan bibir. Katakata yang tidak jelas
atau frase datap dipecahkan lebih akurat dengan menggunakan informasi visual.
Auditory channel sedikit digunakan pada interface standard.
Informasi sering tersedia secara visual. Ada bahaya jika channel visual
overload, yaitu jika user memperhatikan banyak hal sesaat dan memilih informasi
yang sesuai dari detail layar yang banyak. Kepercayaan pada informasi visual
membuat perhatian tetap terfokus pada layar, dan informasi visual yang terus
menerus berarti detail yang cepat out of date tetap ada di layar setelah
dibutuhkan, mengacaukan layar. Pengunaan suara yang hati-hati pada interface
akan mengurangi masalah ini. Manusia dapat membedakan suara dan dapat bereaksi
lebih cepat terhadap stimulus auditory dibandingkan visual.
Perbedaan
Speech Non-Speech
· Serial dan user
harus mendengarkan keseluruhan kalimat sebelum mengerti maksudnya, sehingga
membutuhkan waktu yang panjang
· Kita perlu
memahami dan menterjemahkan untuk mengetahui bahasa yang digunakan. ·
Dapat diasosiasikan dengan kejadian khusus, dan waktu yang dibutuhkan
lebih pendek
·
Universal(mempunyai arti yang sama dibelahan bumi manapun).
· Menyediakan
informasi status.
· Navigasi sistem
2.4 Peneganalan
tulisan tangan(handwriting recognition)
Seperti speech, tulisan tangan merupakan bentuk alami dari
komunikasi. Tulisan tangan menawarkan input tekstual dan input grafik dengan
menggunakan alat yang sama.
a) TEKNOLOGI
Teknologi yang digunakan adalah digitizing tablet. Coretan
yang dibuat dengan pena akan ditransformasikan ke dalam seri koordinat,
kira-kira 1 dalam 1/50 detik. Gerakan-gerakan yang cepat akan menghasilkan
titik-titik yang lebih jarang dibandingkan dengan gerakan-gerakan lambat.
Digitizing tablet telah diperbaiki dengan menggabungkan sebuah screen tipis
untuk menampilkan informasi, yang akan membentuk kertas elektronik (electronic
paper). Informasi yang ditulis di digitizer dapat dengan mudah di tampilkan
kembali (re-display), atau disimpan dan di re-display untuk referensi lebih
jauh. System akan bermanfaat jika dapat menginterpretasikan coretan yang
diberikan dan menghasilkan text.
b) PENGENALAN
TULISAN TANGAN
Tulisan tangan orang per orang sangatlah bervariasi, dan
tiap orang berubah-ubah tulisan tangannya dari hari ke hari. Hal ini akan
menimbulkan kesulitan untuk sistem pengenalan, yang bekerja dengan mencoba
mengidentifikasikan baris-baris yang berisi teks, dan kemudian meilah-milah
image yang didigtasi ke dalam karakter-karakter yang terpisah.
Walaupun demikian, ketika tulisan ditulis secara individual,
dengan sedikit pemisahan, kesuksesan sistem mejadi lebih layak, walaupun sistem
harus dilatih untuk mengenali karakterisitk bermacam-macam user. Banyak
solusi-solusi yang diusahakan pada speech recognition juga dicoba pada
handwriting recognition system, dan begitu pula sebaliknya. Seperti, pengenalan
keseluruhan kata, penggunaan conteks untuk karakter-karakter yang yang memiliki
banyak arti, dan neural networks, yang dipelajari dengan contoh.
2.5 Text, Hypertext,
dan Hypermedia
Output tekstual ditampilkan dalam bentuk sebuah blok teks,
atau sebagai suatu urutan halaman yang harus dibaca. Bagaimanapun menampilan
teks dalam gaya berurut, seperti halaman per halaman, adalah tidak cocok untuk
browsing, karena hal ini memaksa pembaca untuk mengikuti alur berpikir penulis.
Hal ini menimbulkan kesulitan. Misalnya ketika pembaca sedang membaca buku
manual. Jika pembaca tersebut tidak mengerti akan satu istilah dalam halam itu,
ia harus mencari keterangan atas istilah tersebut dalam halaman-halaman yang
lain. Setelah itu dia baru bisa kembali ke halaman yang tadi dan melanjutkan
kegiatan membacanya.
Hypertext mencoba membatasi keterbatasan-keterbatasan pada
text dengan cara membentuk ke dalam web screen dari pada secara baris. Cara ini
membolehkan halaman-halaman yang berbeda diakses dari halaman yang sedang
aktif, dan jika didisain dengan baik, user akan merasa lebih mudah untuk
mengikuti suatu pokok bahasan yang diingininya.
Seperti text, hypertext juga mengandung diagram, photo dan
media lainnya. Sistem seperti ini dikenal sebagai hypermedia system. Hypertext
terdiri dari beberapa halaman, dan satu set links yang digunakan untuk
menghubungkan halaman-halaman menjadi satu.
Hal yang perlu digaris bawahi adalah bahwa user dapat
membaca dokumen dengan cara yang dirasa paling baik untuknya. Hypertext dan
hypermedia adalah satu jaringan simpul (disebut artikel, dokumen, file, kartu,
halaman, frame, layar) yang berisi informasi ( dalam bentuk teks, grafik,
video, sound, dll) yang dihubungkan dengan link (disebut juga cross-reference,
citation) Hypertext umumnya diterapkan untuk aplikasi teks.Hypermedia umumnya
digunakan untuk sistem yang meliputi media lainnya, terutama sound dan video.
a. Aplikasi
hypermedia
1. Hypercard
Yang meniru sebuah kartu indeks, yang dari situ user dapat
mencari sesuatu. Masing-masing kartu dapat menyimpan text, diagram, photograph,
bitmap dan lain-lain. Hot spot pada kartu ini mengijinkan gerakan antar kartu.
Selain itu, pada kartu-kartu ini juga terdapat tombol forward dan backward dan
sebuah icon "home", untukmemboleh user bergerak secara sequensial
2. Information
management
3. Sistem
pendidikan
4. Sistem
applikasi pembantu (Help System Application).
b. Masalah
hypermedia
1. Navigating the
hypertext web.
Sangatlah sulit untuk memutuskan dengan pasti posisi
seseorang di dalam hypertext web. Solusi untuk masalah ini adalah menyediakan
map dari dokument hypertext yang mengidentifikasikan posisi seseorang. Links ke
awal atau akhir dapat diidentifikasikan dan user akan sedikit sekali akan
"lost".
2. Jika informasi
disajikan dalam struktur yang lebih kompleks, terdapat kemungkin terlewatkannya
halaman-halaman tertentu atau item-item suatu informasi.
Kedua masalah ini
telah dipecahkan dengan menyediakan rute yang diusulkan untuk dibaca user
melalui hypertext dokukment. Tapi hal ini justru berlawanan dengan tujuan
dibuatnya sistem seperti ini.
2.6 Animasi dan Video
1. Animasi
Animasi menjadi elemen yang paling biasa / lazim pada sebuah
sistem. Dengan animasi dapat membuat suatu image berpindah, berubah (alter) dan
berganti pada waktu yang bersamaan. Contoh:
a. Animasi kursor
b. Jam
c. Icon jam gelas
untuk menunjukkan suatu pekerjaan sedang berlangsung
d. Kartun
2. Video dan
digital video
Penggunaan video akan memperluas potensi interface dan
memberikan designer tool/alat lain, dan cara lain untuk menampilkan informasi.
Macam-macam CD:
a. CD-I
a) Mempunyai
video yang terbatas dan kapasitas still image
b) Ditujukan
untuk pasaran domestik
c) Baik untuk
full screen animation dari pada untuk video work.
b. CD-XA (Extended
Architecture)
a) Pengembangan
dari CD-I
b) Lebih mendukung
audio digital dan still image
c. DVI (Digital
Video Interactive)
a) Menampilkan
full motion video, bersaing dengan UVC (Universal Video Communications)
b) Dapat
menempatkan full motion video ke dalam single CD lebih dari
1 jam, dan technologinya meningkatkan kompresi dan kapasitas
penyimpanan sepanjang waktu.
Contoh dari penggabungan video ke dalam interface adalah
QuickTime dari Apple.
2.7 Pengenalan gerak
dan komputer vision
1. Pengenalan
gerak
Gerakan adalah komponen IMK yang menjadi pusat perhatian
dalam Multimodal
system. Dengan beberapa gerakan untuk mengkontrol komputer,
adalah merupakan suatu keuntungan pada situasi dimana tidak ada kemungkinan
untuk melakukan pengetikan atau ketika panca indera lainnya tidak bisa
digunakan.
Beda dengan speech dan handwriting, gerakan merupakan:
a. User-dependent
b. Subject to variation
c. Co-articulation
Teknologi yang digunakan untuk menangkap suatu gerakan
adalah:
a.Vision system
b. Dataglove
Kedua teknologi ini sangat mahal dan sulit untuk
menginterpretasikan data. Sebuah team dari Toronto membuat sebuah sistem
pengenalan gerakan yang men-translate gerakan tangan ke dalam synthesized
speech, dengan menggunakan 5 (lima) jaringan syaraf yang bekerja secara
paralel. Kelima jaringan syaraf ini mempelajari dan mengartikan bagian-bagian
input yang berbeda.
2. Computer
vision
a. Dengan vision
system yang baik, memungkinkan komputer untuk mengenali user-nya dan membentuk
sistem yang sesuai dengan permintaan. Computer vision mempunyai efek yang dalam
pada interaksi.
b. Computer vision
system cenderung berdasar pada pendekatan “bottomup”
dimana image-image diperlakukan sebagai satu set pixel yang
secara progresif dianalisa untuk mengambil inti dari artinya.
c. Satu set
tertentu dari proses akan dapat mengambil input image dan memprosesnya untuk
menghilangkan noise.
2.8 Aplikasi
multi-media system
1. Interface user
dengan kebutuhan khusus
Penelititan interface untuk user dengan kebutuhan-kebutuhan
khusus terfokus pada penyediaan sistem interaksi bagi mereka yang kebutuhannya
tidak disediakan oleh komputer standard. Biasanya hal ini karena interface
menggunakan saluran input atau ouput yang tidak dapat digunakan dengan efektif
oleh user. Berkembangnya penggunaan
graphical interface mengurangi kemungkinan bagi user yang mengalami kerusakan
visual/penglihatan.
Standard interface saat ini adalah graphical interface.
Karena interface yang berkembang saat ini banyak menggunakan
gambar-gambar/grafik, maka akses ke komputer bagi user yang mengalami kesulitan
penglihatan malah berkurang. Hal ini disebabkan output dalam bentuk Braille
tidak dapat digunakan untuk merepresentasikan gambar.
Beberapa sistem mencoba untuk menyediakan akses ke grpahical
interface untuk kelompok user ini, dengan cara menambahkan suara ke interface.
Sistem seperti ini telah sukses, tapi memiliki kekurangan ketika menghadapi
banyak data yang harus direpresentasikan. Untuk user yang mengalami gangguan
bicara dan pendengaran, multimedia sistem menyediakan beberapa alat komunikasi,
termasuk synthetic speech dan komunikasi berdasarkan teks dan conferencing
system.
User dengan bermacam gangguan fisik berbeda-beda
kemampuannya untuk mengontrol dan bergerak, tapi kebanyakan dari mereka susah
dalam menggunakan mouse.
Speech input dan output adalah salah satu pilihan bagi yang
tidak mengalami gangguan bicara. Alternatif lain adalah sistem Eyegaze yang
mengikuti gerakan mata untuk mengontrol kursor, atau driver keyboard yang
dipasang di kepala user. Jika user tidak dapat mengontrol gerakan kepala,
gerakan isyarat dan movement tracking dapat gunakan oleh user sebagai alat
kontrol.
Jika user mempunyai
keterbatasan menggunakan keyboard, sebuah sistem yang dapat memprediksi
(predictive system) seperti Reactive keyboard, dapat menolong, dengan cara
mengantisipasi command-command yang akan diketik dan menawarkan perintah itu
untuk dieksekusi. Ini dapat menyingkat pengetikan kata. Perkiraan itu
didasarkan atas apa yang telah user ketik sebelumnya, seperti dalam Excel.
User yang mempunyai kesulitan belajar, seperti dyslexia,
akan menemui kesulitan menghadapi informasi dalam bentuk teks. Pada kasus yang
parah, speech input dan output dapat mengurangi kebutuhan untuk membaca dan
menulis, dan meningkatkan akurasi input dan output. Pada kasus yang tidak
begitu berat, fasilitas koreksi ejaan dapat
menolong user.
2. Virtual
reality
Virtual reality berhubungan dengan simulasi yang diciptakan
komputer atas suatu situasi dimana user seolah-olah berada dalam situasi itu.
VR ini merupakan seni dalam Multi-Media System tapi lebih ditekankan pada
sensasi visual.
Sebagai input, digunakan sarung tangan yang dapat memberikan
informasi berdasarkan gerakan. Umpan balik dapat disertakan ke sarung tangan
tersebut, sehingga seolah-olah user dapat merasakan hentakan ketika menggenggam
sesuatu objek. speech recognition system dapat juga diikutsertakan dan secara
umum VR-system dilengkapi oleh audio feedback.
Salah satu aplikasi dari VR adalah:
a. Permainan 3
dimensi
b. Data
visualization. Umumnya digunakan pada bidang protein chemistry
c. Simulasi
penerbangan (merupakan aplikasi VR secara interaktif)
BAB III
PENUTUP
3.1 Kesimpulan
Sistem bersensor ganda merupakan sistem yang menggunakan
lebih dari satu channel sensor interaksinya.penggunaan saluran sensor secara
bersaaan akan meningkatkan interaksi anatra manusia dan komputer.membuat
interaksi manusia-komputer menjadi seperti interaksi manusia dan lingkungannya.
Usable sensory input:
1. Berkenaan
dengan penglihatan
2. Suara(sound)
3.
Pendengaran(hearing)
4. Rasa(taste)
5. Bau(smell)
3.2 Saran
Dalam penulisan makalah ini kami menyadari masih banyak
kekurangan. Kami tetap berharap makalah ini tetap memberikan manfaat bagi
pembaca. Namun, saran dan kritik yang sifatnya membangun dengan tangan terbuka
kami terima demi kesempurnaan dimasa akan datang