×
THE FUTURE DEPENDS ON WHAT YOU DO TODAY
--Your friends at LectureNotes
Close

Probability Theory and Stochastic Processes

by Ravikumar RayalaRavikumar Rayala
Type: NoteInstitute: Avanthi PG College Course: B.Tech Specialization: Electronics and Communication EngineeringOffline Downloads: 125Views: 1120Uploaded: 6 months ago

Share it with your friends

Suggested Materials

Leave your Comments

Contributors

Ravikumar Rayala
Ravikumar Rayala
Lecture Notes on Probability Theory and Random Processes Jean Walrand Department of Electrical Engineering and Computer Sciences University of California Berkeley, CA 94720 August 25, 2004
Table of Contents Table of Contents 3 Abstract 9 Introduction 1 1 Modelling Uncertainty 1.1 Models and Physical Reality . 1.2 Concepts and Calculations . . 1.3 Function of Hidden Variable . 1.4 A Look Back . . . . . . . . . 1.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 4 4 5 12 2 Probability Space 2.1 Choosing At Random . . . . . . . . . . . . 2.2 Events . . . . . . . . . . . . . . . . . . . . . 2.3 Countable Additivity . . . . . . . . . . . . . 2.4 Probability Space . . . . . . . . . . . . . . . 2.5 Examples . . . . . . . . . . . . . . . . . . . 2.5.1 Choosing uniformly in {1, 2, . . . , N } 2.5.2 Choosing uniformly in [0, 1] . . . . . 2.5.3 Choosing uniformly in [0, 1]2 . . . . 2.6 Summary . . . . . . . . . . . . . . . . . . . 2.6.1 Stars and Bars Method . . . . . . . 2.7 Solved Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 13 15 16 17 17 17 18 18 18 19 19 . . . . 27 27 28 28 29 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Conditional Probability and Independence 3.1 Conditional Probability . . . . . . . . . . . 3.2 Remark . . . . . . . . . . . . . . . . . . . . 3.3 Bayes’ Rule . . . . . . . . . . . . . . . . . . 3.4 Independence . . . . . . . . . . . . . . . . . 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4 CONTENTS 3.5 3.6 3.4.1 Example 1 . . . . . 3.4.2 Example 2 . . . . . 3.4.3 Definition . . . . . 3.4.4 General Definition Summary . . . . . . . . . Solved Problems . . . . . . . . . . . . . . . . . . . . . . . 4 Random Variable 4.1 Measurability . . . . . . . . . . 4.2 Distribution . . . . . . . . . . . 4.3 Examples of Random Variable 4.4 Generating Random Variables . 4.5 Expectation . . . . . . . . . . . 4.6 Function of Random Variable . 4.7 Moments of Random Variable . 4.8 Inequalities . . . . . . . . . . . 4.9 Summary . . . . . . . . . . . . 4.10 Solved Problems . . . . . . . . 5 Random Variables 5.1 Examples . . . . 5.2 Joint Statistics . 5.3 Independence . . 5.4 Summary . . . . 5.5 Solved Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 30 31 31 32 32 . . . . . . . . . . 37 37 38 40 41 42 43 45 45 46 47 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 67 68 70 74 75 6 Conditional Expectation 6.1 Examples . . . . . . . . . . . . . . . . 6.1.1 Example 1 . . . . . . . . . . . . 6.1.2 Example 2 . . . . . . . . . . . . 6.1.3 Example 3 . . . . . . . . . . . . 6.2 MMSE . . . . . . . . . . . . . . . . . . 6.3 Two Pictures . . . . . . . . . . . . . . 6.4 Properties of Conditional Expectation 6.5 Gambling System . . . . . . . . . . . . 6.6 Summary . . . . . . . . . . . . . . . . 6.7 Solved Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 85 85 86 86 87 88 90 93 93 95 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Gaussian Random Variables 101 7.1 Gaussian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 7.1.1 N (0, 1): Standard Gaussian Random Variable . . . . . . . . . . . . . 101 7.1.2 N (µ, σ 2 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

Lecture Notes