×
When you want to succeed as bad as you want to breathe, then you’ll be successful.
--Your friends at LectureNotes
Close

Note for Probability Theory and Stochastic Processes - PTSP by ravikumar rayala

  • Probability Theory and Stochastic Processes - PTSP
  • Note
  • Avanthi PG College -
  • Electronics and Communication Engineering
  • B.Tech
  • 1977 Views
  • 151 Offline Downloads
  • Uploaded 1 year ago
Ravikumar Rayala
Ravikumar Rayala
0 User(s)
Download PDFOrder Printed Copy

Share it with your friends

Leave your Comments

Text from page-1

Lecture Notes on Probability Theory and Random Processes Jean Walrand Department of Electrical Engineering and Computer Sciences University of California Berkeley, CA 94720 August 25, 2004

Text from page-2

2

Text from page-3

Table of Contents Table of Contents 3 Abstract 9 Introduction 1 1 Modelling Uncertainty 1.1 Models and Physical Reality . 1.2 Concepts and Calculations . . 1.3 Function of Hidden Variable . 1.4 A Look Back . . . . . . . . . 1.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 4 4 5 12 2 Probability Space 2.1 Choosing At Random . . . . . . . . . . . . 2.2 Events . . . . . . . . . . . . . . . . . . . . . 2.3 Countable Additivity . . . . . . . . . . . . . 2.4 Probability Space . . . . . . . . . . . . . . . 2.5 Examples . . . . . . . . . . . . . . . . . . . 2.5.1 Choosing uniformly in {1, 2, . . . , N } 2.5.2 Choosing uniformly in [0, 1] . . . . . 2.5.3 Choosing uniformly in [0, 1]2 . . . . 2.6 Summary . . . . . . . . . . . . . . . . . . . 2.6.1 Stars and Bars Method . . . . . . . 2.7 Solved Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 13 15 16 17 17 17 18 18 18 19 19 . . . . 27 27 28 28 29 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Conditional Probability and Independence 3.1 Conditional Probability . . . . . . . . . . . 3.2 Remark . . . . . . . . . . . . . . . . . . . . 3.3 Bayes’ Rule . . . . . . . . . . . . . . . . . . 3.4 Independence . . . . . . . . . . . . . . . . . 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Text from page-4

4 CONTENTS 3.5 3.6 3.4.1 Example 1 . . . . . 3.4.2 Example 2 . . . . . 3.4.3 Definition . . . . . 3.4.4 General Definition Summary . . . . . . . . . Solved Problems . . . . . . . . . . . . . . . . . . . . . . . 4 Random Variable 4.1 Measurability . . . . . . . . . . 4.2 Distribution . . . . . . . . . . . 4.3 Examples of Random Variable 4.4 Generating Random Variables . 4.5 Expectation . . . . . . . . . . . 4.6 Function of Random Variable . 4.7 Moments of Random Variable . 4.8 Inequalities . . . . . . . . . . . 4.9 Summary . . . . . . . . . . . . 4.10 Solved Problems . . . . . . . . 5 Random Variables 5.1 Examples . . . . 5.2 Joint Statistics . 5.3 Independence . . 5.4 Summary . . . . 5.5 Solved Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 30 31 31 32 32 . . . . . . . . . . 37 37 38 40 41 42 43 45 45 46 47 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 67 68 70 74 75 6 Conditional Expectation 6.1 Examples . . . . . . . . . . . . . . . . 6.1.1 Example 1 . . . . . . . . . . . . 6.1.2 Example 2 . . . . . . . . . . . . 6.1.3 Example 3 . . . . . . . . . . . . 6.2 MMSE . . . . . . . . . . . . . . . . . . 6.3 Two Pictures . . . . . . . . . . . . . . 6.4 Properties of Conditional Expectation 6.5 Gambling System . . . . . . . . . . . . 6.6 Summary . . . . . . . . . . . . . . . . 6.7 Solved Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 85 85 86 86 87 88 90 93 93 95 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Gaussian Random Variables 101 7.1 Gaussian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 7.1.1 N (0, 1): Standard Gaussian Random Variable . . . . . . . . . . . . . 101 7.1.2 N (µ, σ 2 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

Lecture Notes