Reddit reviews Bayesian Reasoning and Machine Learning

Having done an MEng at Oxford where I dabbled in ML, the 3 key texts that came up as references in a lot of lectures were these:

Pattern Recognition and Machine Learning (Information Science and Statistics) (Information Science and Statistics) https://www.amazon.co.uk/dp/0387310738/ref=cm_sw_r_cp_apa_i_TZGnDb24TFV9M

Machine Learning: A Probabilistic Perspective (Adaptive Computation and Machine Learning Series) https://www.amazon.co.uk/dp/0262018020/ref=cm_sw_r_cp_apa_i_g1GnDb5VTRRP9

(Pretty sure Murphy was one of our lecturers actually?)

Bayesian Reasoning and Machine Learning https://www.amazon.co.uk/dp/0521518148/ref=cm_sw_r_cp_apa_i_81GnDbV7YQ2WJ

There were ofc others, and plenty of other sources and references too, but you can't go buying dozens of text books, not least cuz they would repeat the same things.
If you need some general maths reading too then pretty much all the useful (non specialist) maths we used for 4 years is all in this:
Advanced Engineering Mathematics https://www.amazon.co.uk/dp/0470646136/ref=cm_sw_r_cp_apa_i_B5GnDbNST8HZR

Murphy
BRML
ESL

First understand that my view is Bayesian to the core. I need no convincing that the majority of what we work with in the future will be probabilistic (and that is not statistical, the distinction matters).

You seem to use genetic algorithms as a catch all, or alternately believe that when systems become complex genetic approaches will be the only ones feasible. You're excluding anything between a SAT solver and a genetic explorer. In that gap lies 2 decades of profound advances that we now commonly call Machine Learning.

Genetic methods have played little part in these advances. In fact I just grabbed the best ML textbook I have close at hand (1) and the word 'genetic' does not appear in its index, despite it being a cookbook of 100's of state of the art ML techniques. Moreover we can look at the folks building the most complex computing systems on earth, like CERN or the US National Labs. What approaches do they use? Lots of Monte Carlo for forward simulation and classifiers derived from probabilistic graphical models (decision trees in particular) for comprehension. The Higgs boson was in fact found using decision trees. It's not like the folks on the Alice team don't know about genetic methods, they're just inferior for most purposes.

And in the far distant future, where again computational costs matter less and less, I can't see how a genetic approach would be more effective or convenient than unsupervised learning in a large fixed network. This is, after all, how the brains having this conversation work.

Na verdade eu sou físico. Acho que é mais comum entre os físicos adotar uma perspectiva bayesiana do que entre os matemáticos ou mesmo os estatísticos. Talvez por causa da influência do Edwin T. Jayes, que era físico. Talvez por causa da conexão com teoria de informação e a tentadora conexão com termodinâmica e mecânica estatística.

O meu interesse pela perspectiva Bayesiana começou por conta do grupo de pesquisa onde fiz o doutorado. Meus orientador e meu co-orientador são fortemente bayesianos, e o irmão do meu orientador de doutorado é um pesquisador bastante conhecido das bases epistemológicas da teoria bayesiana (o físico uruguaio Ariel Caticha).

Tem vários livros bons sobre probabilidade bayesiana, depende muito do seu interesse.

O primeiro livro que eu li sobre o assunto foi justamente o do Jaynes - Probability Theory, the Logic of Science. Esse é um livro um pouco polêmico porque ele adota uma visão epistemológica bastante forte e argumenta de forma bastante agressiva a favor dela.

Uma visão um pouco alternativa, bastante conectada com teoria de informação e também fortemente epistemológica você pode encontrar no livro Lectures on Probability, Entropy and Statistical Physics do Ariel Caticha - (de graça aqui: https://arxiv.org/abs/0808.0012). Eu fui aluno de doutorado do irmão do Ariel, o Nestor Caticha. Ambos têm uma visão bastante fascinante de teoria de probabilidades e teoria da informação e das implicações delas para a física e a ciência em geral.

Esses livros são mais visões epistemológicas e teóricas, e bem menos úteis para aplicação. Se você se interessa por aplicação tem o famoso BDA3 - Bayesian Data Analysis, 3ª edição e também o Doing Bayesian Data Analysis do John Kruschke que tem exemplos em R.

Tem um livrinho bem introdutório também chamado Bayesian Methods for Hackers do Cam-Davidson Pylon (de graça aqui: https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers) que usa exemplos em python (pymc). É bem basicão para aprender aplicações de probabilidades bayesianas.

O livro All of Statistics do Larry Wasserman tem uma parte introdutória também de inferência bayesiana.

Se você em interesse por inteligência artificial um outro livro muito bacana é o do físico britânico (recentemente falecido) David Mackay - Information Theory, Inference, and Learning Algorithms (de graça aqui: http://www.inference.phy.cam.ac.uk/mackay/itila/). Esse livro foi meu primeiro contato com Aprendizado de Máquina e é bem bacana.

Outros livros bacanas de Aprendizado de Máquina que usam uma perspectiva bayesiana são Bayesian Reasoning and Machine Learning (David Barber) e o livro-texto que tem sido o mais usado para essa área que é o Machine Learning: a Probabilistic Perspective (Kevin Murphy).

I've been reading this book: bayesian reasoning and machine learning

The author has a pdf version available on his site.

I also read this recent nature review paper on machine learning in biology that I liked: http://www.ncbi.nlm.nih.gov/pubmed/25948244