Traditional tabular classifiers provide explainable decision-making with interpretable features(concepts). In this paper, we design Img2Tabs that classify images by concepts to harness the explainability of tabular classifiers. Img2Tabs encode image pixels into tabular features by StyleGAN inversion. Since not all the resulting features are class-relevant or interpretable due to their generative nature. Thus, we propose a novel algorithm using the Wasserstein-1 metric to quantify class-relevancy and interpretability simultaneously. By this method concept visualization, we quantitatively investigate whether important features extracted by tabular classifiers are class-relevant concepts. Consequently, we determine the most effective classifier for Img2Tabs in terms of discovering class-relevant concepts automatically from StyleGAeN features. In evaluations, we demonstrate concept-based explanations through importance and visualization. Img2Tab achieves top-1 accuracy on par with CNN classifiers and deep feature learning baselines. Additionally, we show that users can interactively debug Img2Tab classifiers at the concept level to ensure unbiased and fair decision-making without sacrificing accuracy.
기존의 tabular classifier는 해석 가능한 특징(concept)을 통해 설명가능한 의사결정을 제공한다. 그러나 vision task에서는 이미지가 픽셀로 표현되기 때문에 tabular classifier의 설명력을 활용하는데 한계가 있다. 본 논문에서는 tabular classifier의 설명력을 vision task에서 활용하기 위해 이미지를 concept 기반으로 분류하는 Img2Tab 프레임워크를 제안한다. Img2Tab 은 GAN inversion으로 이미지 픽셀을 StyleGAN latent space 축에 인코딩하여 tabular concept으로 간주한다. StyleGAN latent의 생성적인 특성으로 인해 모든 축이 클래스와 관련되거나 해석 가능한 것은 아니므로 Img2Tab classifier 가 classrelevant concept 을 성공적으로 탐지하는지 확인해야 한다. 따라서 StyleGAN latent space 내 주어진 축의 클래스 관련성과 해석가능성을 동시에 정량화하는 CRIFA (Class Relevant Interpretable Feature Algorithm) 알고리즘을 제안한다. CRIFA를 사용해 Img2Tab classifier 가 추출한 중요 feature들의 클래스 관련성과 해석가능성을 측정하여, XGboost 가 StyleGAN latent space 에서 클래스 관련 concept 을 자동으로 탐지하는 데 가장 효과적인 interpretable tabular classifier 임을 보인다. 실험에서는 Img2Tab 이 CNN 기반 분류기와 deep feature learning 기법들과 동등한 수준의 정확도를 달성하는 것을 보입니다. 또한 정확도를 희생하지 않은 채로 편향되지 않고 공정한 의사결정을 내리도록 사용자가 임의로 Img2Tab을 디버깅할 수 있음을 보여준다.