Hospital Tengku Ampuan Afzan (HTAA) telah wujud sebagai sebuah Hospital Daerah pada sekitar tahun 1904 di atas tapak tanah seluas 40.1 ekar di tengah-tengah pusat Bandar Kuantan. Bangunan berstruktur kayu yang beratap nipah menandakan wad-wad. Bangunan yang lebih kukuh yang beratap genting telah mula dibina selaras dengan keperluan yang kian meningkat. Pada masa itu, disiplin perubatan, wad-wad serta perkhidmatan adalah sangat terhad.
Pengasas penubuhan hospital ini dipercayai telah dipelopori oleh pihak British yang telah meletakkan asas perkhidmatan perubatan moden di negara ini. Sehingga Perang Dunia Kedua, pegawai perubatan yang menjaga hospital ini terdiri daripada orang-orang British yang di antaranya termasuklah Dr. Frazer.
Di zaman pemerintahan Jepun, Hospitah Daerah Kuantan ditadbir oleh seorang doktor melayu bernama Doktor Mohamad Said. Walaupun Negara ketika itu berada dalam kancah peperangan, namun operasi hospital ini tetap berjalan lancar dalam pemberian rawatan dan perkhidmatan kepada pesakit-pesakit yang terdiri daripada orang awam dan mangsa peperangan. Selepas penaklukkan semula Tanah Melayu oleh tentera British pada tahun 1945, hospital ini telah diterajui semula oleh British.
Apabila Negara mencapai kemerdekaan, kerajaan menyedari bahawa perkhidmatan perubatan perlu membangun seiring dengan pembangunan sosio ekonomi penduduk-penduduknya. Apabila kemerdekaan tercapai dalam tahun 1957, Ibu Negeri Pahang telah dipindahkan dari Kuala Lipis ke Kuantan. Selaras dengan perpindahan pusat pentadbiran negeri, Hospital Daerah Kuantan juga telah dinaikan taraf kepada Hospital Umum. Bangunan-bangunan struktur batu telah mula dibina bagi tambahan kepada bangunan-bangunan kayu yang sedia ada dengan perkembangan perkhidmatan serta rawatan baru.
Bermula dari detik ini, pembangunan Hospital Kuantan terus berkembang pesat sehinggalah terbinanya banggunan baru yang tersergam indah dengan kelengkapan peralatan serba canggih.
Pada 3 November 1995, Kebawah Duli Yang Maha Mulia Sultan Pahang, Sultan Ahmad Shah telah berkenan untuk merasmikan bangunan baru Hospital Kuantan dan seterusnya berkenan menamakan Hospital Kuantan sebagai Hospital Tengku Ampuan Afzan (HTAA).