Note for Artificial Neural Network - ANN by your mirror
- Artificial Neural Network - ANN
- Note
- 134 Views
- Uploaded 2 months ago
Text from page-1
SECTION FOR DIGITAL SIGNAL PROCESSING DEPARTMENT OF MATHEMATICAL MODELLING TECHNICAL UNIVERSITY OF DENMARK Introduction to Arti cial Neural Networks Jan Larsen 1st Edition c November 1999 by Jan Larsen
Text from page-2
i
Text from page-3
Contents Preface 1 Introduction 1.1 De nitions of Neural Networks . . . . . . . . . . . . . . . . . . . . . . . 1.1.1 Information Processing in Large Networks of Simple Computers 1.1.2 Learning/Adaptation by Examples . . . . . . . . . . . . . . . . . 1.1.3 Generic Nonlinear Dynamical Systems . . . . . . . . . . . . . . . 1.2 Research and Applications . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3 Historical Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Feed-forward Neural Network 2.1 2.2 2.3 2.4 Geometrical Interpretation . . . . . . . . Universal Function Approximation . . . Regression . . . . . . . . . . . . . . . . . Signal Processing Applications . . . . . 2.4.1 Nonlinear System Identi cation . 2.4.2 Nonlinear Prediction . . . . . . . 2.5 Classi cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Neural Network Training . . . . . . . . . . . . . . . . . . . . . 3.1 Gradient Descend . . . . . . . . . . . . . . . . . . 3.1.1 Choosing a Fixed Step-Size, . . . . . . . 3.1.2 Choosing Step-Size by Line Search . . . . 3.2 Backpropagation . . . . . . . . . . . . . . . . . . 3.2.1 Summary of Gradient Descend Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv 1 2 2 2 4 4 5 7 9 10 12 13 13 13 13 14 17 18 18 19 21 4 Generalization 21 5 Neural Network Architecture Optimization 24 A Neural Network Regression Software 27 4.1 Overtraining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.2 Local Minima . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 5.1 Regularization Using Weight Decay . . . . . . . . . . . . . . . . . . . . . . . 24 5.2 Architecture Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 5.2.1 Optimal Brain Damage . . . . . . . . . . . . . . . . . . . . . . . . . 25 A.1 MATLAB Functions in the Neural Regression Package A.1.1 Function Overview . . . . . . . . . . . . . . . . A.1.2 Main Function nr_netprun.m . . . . . . . . . . A.1.3 Subroutine nr_calcul.m . . . . . . . . . . . . A.1.4 Subroutine nr_cost_c.m . . . . . . . . . . . . A.1.5 Subroutine nr_cost_e.m . . . . . . . . . . . . A.1.6 Subroutine nr_dimen.m . . . . . . . . . . . . . A.1.7 Subroutine nr_extract.m . . . . . . . . . . . . A.1.8 Subroutine nr_forward.m . . . . . . . . . . . . A.1.9 Subroutine nr_getdata.m . . . . . . . . . . . . A.1.10 Subroutine nr_gradient.m . . . . . . . . . . . ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 28 29 29 29 30 30 31 31 31 32
Text from page-4
A.1.11 Subroutine nr_linesear.m . A.1.12 Subroutine nr_linesearch.m A.1.13 Subroutine nr_plotnet.m . . A.1.14 Subroutine nr_plotsal.m . . A.1.15 Subroutine nr_prune.m . . . A.1.16 Subroutine nr_pseuhess.m . A.1.17 Subroutine nr_tanhf.m . . . A.1.18 Subroutine nr_train.m . . . A.1.19 Subroutine nr_trainx.m . . A.1.20 Subroutine nr_two_norm.m . A.1.21 Subroutine nr_winit.m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . B.1 Network Classi er Architecture . . . . . . . . . . . . . . . B.2 Training and Regularization . . . . . . . . . . . . . . . . . B.3 MATLAB Functions in the Neural Classi cation Package B.3.1 Function Overview . . . . . . . . . . . . . . . . . . B.3.2 Main Function nc_netprun.m . . . . . . . . . . . . B.3.3 Subroutine nc_cl_error.m . . . . . . . . . . . . . B.3.4 Subroutine nc_cl_probs.m . . . . . . . . . . . . . B.3.5 Subroutine nc_cost_c.m . . . . . . . . . . . . . . B.3.6 Subroutine nc_cost_e.m . . . . . . . . . . . . . . B.3.7 Subroutine nc_dimen.m . . . . . . . . . . . . . . . B.3.8 Subroutine nc_err_frac.m . . . . . . . . . . . . . B.3.9 Subroutine nc_eucnorm.m . . . . . . . . . . . . . . B.3.10 Subroutine nc_forward.m . . . . . . . . . . . . . . B.3.11 Subroutine nc_getdata.m . . . . . . . . . . . . . . B.3.12 Subroutine nc_gradient.m . . . . . . . . . . . . . B.3.13 Subroutine nc_linesear.m . . . . . . . . . . . . . B.3.14 Subroutine nc_plotnet.m . . . . . . . . . . . . . . B.3.15 Subroutine nc_plotsal.m . . . . . . . . . . . . . . B.3.16 Subroutine nc_prune.m . . . . . . . . . . . . . . . B.3.17 Subroutine nc_pseuhess.m . . . . . . . . . . . . . B.3.18 Subroutine nc_softmax.m . . . . . . . . . . . . . . B.3.19 Subroutine nc_tanhf.m . . . . . . . . . . . . . . . B.3.20 Subroutine nc_train.m . . . . . . . . . . . . . . . B.3.21 Subroutine nc_winit.m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . B Neural Network Classi cation Software Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 33 33 34 34 35 35 36 37 38 38 38 38 39 41 41 42 42 43 43 44 44 44 45 45 45 46 46 47 47 47 48 49 49 49 50 51 iii
Leave your Comments