Приветствую Вас Абитуриент • Регистрация • Вход • RSS
Среда, 20.9.2017
Загрузка...
Главная » Работы » Рефераты на казахском » Автоматтандыру

Шеннон энтропиясы
Загрузка...
Шеннон энтропиясы

Ақпарат шамасын өлшеудің үш тәсілі бар: көлемдік, энтропиялық, алгоритмдік.
Көлемдік өлшем –мәлімет құрайтын символдар саны. Оны өлшеу ақпараттың жазылу түріне байланысты. Мысалы, 13 санын түрліше жазуға болады: «он үш», 13, ХІІІ, 11012 (бұлардың соңғысы екілік санау жүйесінде жазылған).
Ақпарат теориясында ақпартты өлшеу үшін энтропиялық тәсіл пайдаланылған (энтропия –ішке айналу). Энтропия деп кездейсоқ (екіұштылық) болатын жағдайдың (орындалуы алдында нәтижесі белгілі емес тәжірибенің) анықталмағандық шамасын айтады. Ол мынадай модельден тұрады:
- тәжірибе бойынша белгілі оқиғалардың орындалу шамасы анықталады;
- шамаларды дәл есептеу мүмкін болмағандықтан, олардың энтропиясын ықтималдықты пайдаланып есептейді.
Энтропияны ақпараттың жеткіліксіз шамасы деп қарастыруға болады. Ол ықтималдылықтар жиынытығының біршама математикалық байланыстылығы арқылы сипатталады.

1-мысал. Тиын ақша аспанға лақтырғанда оның сандық бетімен не қарсы бетімен түсуінің энтропиясын анықтау керек.
Мұндай жағдай тең ықтималдықты екі оқиғадан тұратыны белгілі, ықтамалдық (Р) 0,5-ке тең. Ақпарат теориясында берілген тең ықтималдықты n оқиғалар үшін оқиғаның энтропиялық шамасы (Н) анықталатын формула:

Жоғарғы мысалда: n=2, Н=0,5 (log22=1).
Таңдалған оқиғалар саны (n) 2-нің бүтін дәрежесіне тең болмаса да, тең ықтималдықты оқиғалар үшін осы формула пайдаланылады (әр оқиғаның орындалу ықтималдығы 1/ n-ге тең). Егер оқиғалар тең ықтималдықты болмаса, энтропия шамасы төмендегі формула бойынша есептеледі (формуланы ғалым К.Шеннон ұсынған):

Мұндағы Рк-к жағдайдағы жүйенің ықтималдығы; Н-жүйенің энтропиясы (ақпараттың жеткіліксіздік шамасы. Ол тәжірибе ақпарат санының мөлшері үшінде пайланылады).
Егер барлық оқиғалар тең ықтималдықты болса (Рк=1/ n), олардың энтропиясы:

Дерек хақында айтылса, ақпарат деп әлдебір түйін жасауға болатындай ақиқаттар жиынтығын қарастыруға болады. Оқу, тәжірибе немесе тапсырмалар арқылы ақпарат алынатындықтан оның т.б. түсініктемелері болуы мүмкін. Қалай боланда да ақпарат деректерді өңдеу, реттеу және оларды қабылдаушыға жаңа білім болатындай ұйымдастыру нәтижес болып табылады. Байланыс теориясы нәтиженің (шығыстың) анықсыздығының сандық өлшемі болып табылады. Мысалға, “мыңдаған биттерден тұратын ақпарат” деп айта аламыз. Байланыс теориясында жиі Клод Шеннонның есімімен байланысты ақпарат энтропиясы деген ұғым пайдаланылады

Ақпаратқа хабар ретінде қарау 1948 жылғы Клод Шеннонның әйгілі "Байланыстың Математикалық Теориясы" атты мақаласынан кейін қалыптасты. Мақала Байланыс теориясының негізін қалады және ақпарат ұғымына техникалық мағына беріп қана қоймай оған мөлшерін анықтады. Егер құрылғы бірдей ықтималдықпен N хабардың бірін жіберсе, онда “жиыннан хабар таңдалған кездегі ақпарат мөлшері” екі негіздегі логарифм N-ге тең (Бұл мөлшер өздік-ақпарат деп аталады). Сол мақалада Шеннон былай жалғастырады: Логарифм негізін таңдау ақпаратты өлшеу өлшем бірлігіне сәйкес келеді. Егер негізі 2 болса нәтижесінде ақпарат бірлiктері бинарлық сандар, немесе қысқаша Тюки (J. W. Tukey) енгізген биттер болар еді. Екі бірқалыпты дәрежесі бар құрылым, мысалы – реле, бір бит ақпарат сақтай алады. Осындай N құрылым N бит сақтай алады…[1] Алгоритмдік байланыс теориясы ақпаратты өлшеудің қосымша жолын береді. Қысқаша қайырғанда, бұл тәсіл ақпарат мазмұнын белгілер тізімінің болжамдығына негіздеп өлшейді, немесе басқаша айтқанда бағдарлама арқылы тізімді есептеу қаншалықты оңай: тізімнің ақпарат мазмұны ең қысқа осы тізімді есептейтін бағдарламаның биттер саны болып табылады. Төмендегі тізімнің алгоритмдік өлшемі өте аз болар еді, өйткені ол - оңай болжауға болатын құрылым, және құрылым ретінде жалғасқанымен өлшемі өзгермейді. Шеннон ақпараты тізімнің әр белгісі үшін, олар статистикалық кездейсоқ болғандықтан, дәл осындай ақпарат өлшемін берер еді, ал әр жаңа белгі өлшемін үлкейтер еді. 123456789101112131415161718192021 Адамдық көзқараспен қарағанда дәстүрлі ақпарат теориясы мен алгоритмдік ақпарат теорияларының шектеулері бар. Мысалға, хабар мазмұны дегенде Шеннон “Жиі хабарлардың мәні бар… бұл байланыстың семантикалық жағы инженерлік мәселелерге маңызды емес. Маңызды жағы – нақтылы хабардың ықтимал хабарлар жиынының таңдалып алынған бірі болғандығында” (екпін түпнұсқадан сақталған). Ақпарат теориясында сигналдар процесстердің бөлігі болып табылады, субстансия емес; олар бірнәрсе істейді, олардың арнайы мәні жоқ. Алгоритмдік ақпарат теориясы мен ақпарат теориясын бірге пайдалана отырып ең кездейсоқ сигнал қалай тәржімеленсе де ең ауқымды ақпаратты қамтиды, әрі сығыла да алмайды деген тұжырымға келуге болады. Майкл Редди (Micheal Reddy) "математикалық теория 'сигналдары' 'алмаса алатын құрылымдар' деп байқаған. Сигналда еш хабар жоқ, онда тек мүмкін болатын хабарлар жиынынан бір хабарды таңдау қабілеті бар." Ақпарат теориясында "жүйе әр ықтимал болатын таңдаумен жұмыс істей алатындай жобалану керек, тек таңдалғанмен емес, себебі жобалану кезеңінде ол хабар беймәлім болған ".

Шеннонның басты қорытындысы оң мәліметтерді максималды ең жоғарғы жіберу жылдамдығы Я Гц желісіндегі сигналдық/ шуылға қатынасы, S/N тең болса оны келесі формула арқылы есептей аламыз:
Мәліметтерді ең жоғарғы жылдамдықта жіберу= Hlog (1 + S/N)
Мысалы, жіберу жолы арқылы 3000Гц сигналдың термальды 30 gБ/ шуылға қатынасы ешқашанда 30000 бит/с аса алмайды сигнал модуляциясына қарамастан. Шеннонның қорытындысы ақпараттық теория постулаттары қайсыбір каналы Гаусовский (термалдық) шумен өте алады. Бұған қайшы теорияны дәлелдеу мүмкін емес. Бірақта айта кететін т бұл берілген жоғарғы теорема, ақпараттық каналдың теоретикалық жіберу жолы арқылы өткенде нақты жетуі кейбір жағдайда ғана болады.

Загрузка...


Уважаемый пользователь! Материал может содержать устаревшие данные, ошибки (устаревшую экономическую статистику, утратившую силу закона, нормативные акты и т.п.). Поэтому перед сдачей рекомендуем самостоятельно проверить содержание работ.
Желаем успехов!



45.0Kb
Категория: Автоматтандыру | Добавил: Admin
Просмотров: 2341 | Загрузок: 344 | Рейтинг: 0.0/0

Это может Вас заинтересовать:
Мағжан - ақынның ақыны
Аймауытов Жүсіпбек
Microsoft Excel программасы. Математикалық функцияларды қолдану
Домбыра аспабы
Қазақстан Республикасы мен Сирия Араб Республикасы арасындағы қатынаст...
Жасуша теориясының негізгі қағидалары
Шығайұлы Дәулеткерей
Мыржақып Дулатов
Тастанбекқызы Сара
Жүсіпбек Аймауытов
Жұмабаев Мағжан Бекенұлы
Құдайбердіұлы Шәкәрім
Мұрат Мөңкеұлы
Нәзір Төреқұлов
Қазақстан опера өнерінің негізін салушы сахна жұлдыздары