آنتروپی شانون، معیاری برای اندازه‌گیری عدم حتمیت می‌باشد که توسط شانون (1948) معرفی شد. این معیار در حوزه‌های مختلفی خصوصاً در قابلیت اعتماد و علوم ارتباطات کاربرد دارد. برای بسیاری از توزیع‌های شناخته شده گسسته و پیوسته؛ مانند توزیع‌های یکنواخت، برنولی، هندسی، نمایی، نرمال، پارتو، وایبل، رایلی، تی استیودنت و توزیع گاما، آنتروپی شانون وجود دارد. با این حال، برای برخی از توزیع‌های گسسته که شامل عامل فاکتوریل هستند، عبارت صریح و فرم بسته برای آنتروپی شانون وجود ندارد. در چنین مواردی، استفاده از برخی تقریب-ها، سری‌ها و فرم‌های انتگرالی برای محاسبه آنتروپی، می‌تواند راهگشا باشد. در این پایان‌نامه، یک روش کلی برای محاسبه مقادیر مورد انتظار لگاریتم و لگ گامای یک متغیر تصادفی ارائه و از این تکنیک برای محاسبه آنتروپی شانون در توزیع‌های گسسته‌ای که شامل عامل فاکتوریل هستند؛ مانند پواسون، دوجمله‌ای، بتا دوجمله‌ای، دوجمله‌ای منفی و فوق هندسی، استفاده خواهد شد
