ISSN 2071-8594

Российская академия наук

 

Ю. А. Дубнов "Метод отбора признаков на основе вероятностного подхода и перекрестной энтропии на примере задачи распознавания изображений"

Аннотация.

Рассматривается задача отбора признаков для формирования обучающей выборки в задаче классификации. Предлагается метод отбора информативных признаков на основе вероятностного подхода и метрики перекрестной энтропии. Исследуется несколько вариантов информационного критерия отбора признаков для задачи бинарной классификации и его обобщение на случай многоклассовой задачи. Приводятся демонстрационные примеры работы предложенного метода для задачи классификации изображений из коллекции mnist.

Ключевые слова: понижение размерности, отбор признаков, классификация, перекрестная энтропия.

Стр. 78-85.

DOI 10.14357/20718594200206

Литература

1. Friedman J., Hastie T., Tibshirani R. Elements of Statistical Learning: Prediction, Inference and Data Mining. Springer. 2001.
2. Bishop C. Pattern Recognition and Machine Learning (Information Science and Statistics), Springer. 2006. 758 p.
3. Alpaydin E. Introduction to Machine Learning. MIT Press. 3rd ed. 2014. 640 p.
4. Jolliffe I.T. Principal Component Analysis, Series: Springer Series in Statistics, 2nd ed. Springer. NY, XXIX. 2002. 487p.
5. McLachlan G.J. Discriminant Analysis and Statistical Pattern Recognition. Wiley Interscience. 2004.
6. Comon P., Jutten C. Handbook of Blind Source Separation, Independent Component Analysis and Applications. Academic Press. Oxford UK. 2010.
7. Berry Michael W. et al. Algorithms and Applications for Approximate Nonnegative Matrix Factorization // Computational Statistics & Data Analysis.Vol.52. 2007. P.155-173.
8. Van der Maaten L., Hinton G. Visualizing High-Dimensional Data Using t-SNE // Journal of Machine Learning Research. Vol.9. 2008. P.2579-2605.
9. Carreira-Perpinan M.A. A review of dimension reduction techniques. Technical report CS-96-09, Department of Computer Science, University of Sheffield. 1997.
10. Fodor Imola K. A survey of dimension reduction techniques, Center for Applied Scientific Computing, Lawrence Livermore National Laboratory. 2002.
11. Cunningham P. Dimension Reduction. Technical Report UCD-CSI-2007-7, University College Dublin. 2007.
12. Blum A., Langley P. Selection of relevant features and examples in machine learning // Artificial Intelligence. Vol.97(1-2). 1997. P.245-271.
13. Abellán J., Castellano J.G. Improving the Naive Bayes Classifier via a Quick Variable Selection Method Using Maximum of Entropy // Entropy. Vol.19. No.6. 2017.
14. Peng H.C., Long F., Ding C. Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy // IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol.27(8). 2005. P.1226-1238.
15. Zhang Y., Li S., Wang T., Zhang Z. Divergence-based feature selection for separate classes // Neurocomputing. Vol.101. 2013. P.32-42.
16. Ciresan Dan Claudiu, Meier Ueli, Gambardella Luca Maria, Schmidhuber Juergen. Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition // Neural Computation. Vol. 22. No. 12. 2010.
17. Cireşan Dan, Meier Ueli, Schmidhuber Juergen. Multi-column Deep Neural Networks for Image Classification // CVPR. 2012. P.3642-3649.