Tumor otak merupakan penyakit yang ditandai dengan pertumbuhan sel yang tidak normal pada jaringan otak. Salah satu cara yang dapat dilakukan dokter dalam pendeteksian tumor otak yaitu pengamatan langsung dengan diagnosis secara manual yang memiliki resiko terjadinya kesalahan. Perkembangan kecerdasan buatan terhadap computer vision saat ini sudah diterapkan dalam klasifikasi citra pada bidang kesehatan. Penelitian ini melakukan klasifikasi citra tumor otak menggunakan deep learning, khususnya metode Convolutional Neural Network (CNN). Dataset yang digunakan berjumlah 5000 gambar dengan kelas glioma dan meningioma yang diperoleh dari kaggle. Tujuan penelitian ini menyusun arsitektur CNN yang optimal dalam mengidentifikasi tumor. Kami menggunakan dataset dari kaggle dengan total data training 5712, dan testing 1311. Dari lima arsitektur CNN yang diusulkan, akurasi yang paling tinggi adalah 99%. Arsitektur CNN yang baik mempunyai layer convolution yang banyak. Kami juga membandingkan arsitektur usulan dengan transfer learning CNN (Inception, ResNet-50, dan VGG16), dan dengan arsitektur transfer learning CNN akurasinya lebih tinggi dibandingkan arsitektur usulan Kami.