Cumhuriyetin ilk yıllarında başlayan tarih araştırmaları ışığında, önce Asar-ı Atika Muhipleri Cemiyeti, daha sonra Halkevi çalışmaları bünyesinde bir müze oluşturma ve İl tarihi yazma girişimleri olarak 1928 yılında çalışmalar başlamıştır. Süleyman Hilmi (Gönçer) ve Oğuz (Günel) Beylerin öncülüğünde başlatılan bu çalışmalar sonucunda, boş olan Taş Medresede çeşitli yerlerden bulunan eserler, depolanmaya başlamıştır. Eserler çoğaldıkça müzeye dönüştürme düşüncesi ortaya çıkmış, bunun sonucunda 1931 yılında kurulan Müze Memurluğu, 1933 yılında Müdürlüğe dönüştürülmüştür. Süleyman Hilmi Bey'in üstlendiği bu görevler sonucu Müze, bölge müzesi konumuna yükselmiştir. Çevrede Bursa ve Konya Müzeleri dışında müze yoktur. Bu nedenle Süleyman Hilmi Bey, çevre illere de giderek zor koşullarda da olsa müzeciliğin yapılabileceğini göstermiştir. Uşak, Burdur, Isparta ve Aydın çevrelerinden arkeolojik, Aydın ve Kütahya çevrelerinden etnoğrafik eserler toplamıştır.
Türkiye arkeolojisinin ilk kazı yerlerinden biri olan Sandıklı Kusura höyük kazısı ve buluntuları ile, 1935 yılında dünyaya adını ilk duyuranlardan olan müzemiz, zaman içinde toplanan eserlerin çokluğu, büyük boyutlarda olması, tek veya grup eser bulundurması bakımından bu önemini daha da artırmıştır. 1964 yılında arkeolog Hasan Tahsin Uçankuş un ilimize gelmesiyle, çağdaş ve bilimsel bir arkeoloji ve müzeloji çalışmaları başlatılmıştır. Bunun sonucunda arkeoloji ağırlıklı yeni müzeye gerek duyulmuş ve 1971 yılında bugünkü müze, Bölge Müzesi, Frigya Müzesi konumunda açılmıştır. Daha sonraki yıllarda çevre illerde de müzeler açılmaya başlayınca bu konumu, il düzeyinde kalmıştır.
Müzemiz, il düzeyinde kalmış olmasına rağmen, Türkiyenin büyük müzeleri arasında bilinmekte ve uluslar arası ilgi görmeye devam etmektedir. Çünkü Eski Tunç çağından günümüze kadar geçen 5000 yıllık bir süre içinde kesintisiz kültür ve inanç gelişimini sunabilmektedir. Bugünkü konumunda ilimiz, nasıl ki yolların düğüm noktası ise, 5000 yıllık süre içinde de aynı konumda olduğunu Müzemiz göstermektedir.
Bulundurduğu kazı buluntuları, pişmiş toprak sanatının tarihi; mermer sanatının tarihi; dokuma, para, giyim, halı, kilim sanatının tarihi ile ölü gömme gelenekleri; tanrı ve tanrıça heykelcikleri; mimari parçalar; kap kacaklar; kesici ve öldürücü araçlar gibi koleksiyonlar müzenin önemini artırmaktadır. Ulusal ve Uluslar arası açılan tüm sergilere, çok sayıda eser vererek katılmaktadır. Mehmet Yılmaz ve Saadet Özgündüz dönemlerinde müze içi; Ahmet Topbaş döneminde ise müze dışı, anıt ve sit alanlarının envanterler çalışmalarına ağırlık verilmiştir.
Yeni müze binası tek katlıdır. Müzede birbirine bağlı 9 sergi salonundan ayrı, büro kesiminde 5 oda, bir kitaplık, bir konferans salonu, alt katlarda 5 depo, bir fotoğraf atölyesi ile laboratuar yer almaktadır. Müzede kapalı sergi salonlarında Afyon ve çevresinden bulunmuş olan arkeolojik eserler, kronolojik bir sıra esas alınarak sergilenmektedir. Bu salonlarda sergilenen eserlerle, Eski Tunç, Hitit, Frig, Lidya, Roma ve Bizans dönemlerine ait oldukça zengin bir koleksiyonlara sahip olunduğu görülmektedir. Bu dönemlere ait pişmiş toprak, taş mermer, kemik, cam, metal kap kacak, heykel ve sikke gibi araç ve gereçler, yöremiz insanlarının, M.Ö. 3000 li yıllardan günümüze kadar yaşayışı, inancı, üretimi, ticareti hakkında bize oldukça önemli bilgiler vermektedir. Ayrıca, günümüzdeki önemi nedeniyle sanayi haline gelmiş mermer ticareti ve sanatı ile ilgili bilgi veren mermer heykeller, lahitler, mezar taşları ve mimari parçalar, müzenin önemini artırmaktadır.
Müzenin bahçesinde açık sergilemede ise genellikle Roma ve Bizans dönemi mezar stelleri, lahitler, küpler, heykeller, Selçuklu, Beylikler ve Osmanlı dönemlerine ait mezar taşları sergilenmekte ise de henüz Türk-İslam eserlerinin çoğu, kapalı sergi salonumuzun yetersizliği nedeniyle sergilenememektedir.
Afyonkarahisar Arkeoloji Müzesi Pazartesi hariç haftanın altı günü saat 8.30-12.00 13.00-17.30 arası ziyarete açıktır. Müzenin içerisinde fotoğraf çekimi yasak olmakla beraber bahçesinde serbesttir.