Σύμφωνα με τη μυθολογία, η Ανάφη οφείλει το όνομά της στο γεγονός ότι αναδύθηκε (αναφάνηκε) από τα νερά του Αιγαίου, μετά από επιθυμία του Απόλλωνα, ώστε να προσφέρει καταφύγιο στους ταλαιπωρημένους από την καταιγίδα Αργοναύτες. Αυτοί έκτισαν, προς τιμή του, το ναό του Απόλλωνα Αστεάλτα κοντά στο μοναστήρι της Ζωοδόχου Πηγής. Κάθε χρόνο τιμούσαν τον θεό με μια γιορτή που ονομαζόταν «Υακίνθεια».
Σύμφωνα με άλλες πηγές, το νησί ήταν η πατρίδα του Αιόλου, του θεού των ανέμων, ο οποίος πρόσφερε στον Οδυσσέα τους ασκούς με τους ανέμους. Στην Ανάφη εγκαταστάθηκαν Φοίνικες και αργότερα Δωριείς, οι οποίοι κατοίκησαν το κέντρο του νησιού και ίδρυσαν την πόλη της Ανάφης.
Στη διάρκεια του 5ου αι. π.Χ. η Ανάφη έγινε μέλος της Αθηναϊκής Συμμαχίας. Στο Μεσαίωνα το νησί ανήκε στο Δουκάτο της Νάξου και κυβερνήθηκε από Βενετούς ηγεμόνες οι οποίοι δεν μπόρεσαν να το απαλλάξουν από τις πειρατικές επιδρομές οι οποίες ανάγκασαν πολλούς κατοίκους να καταφύγουν στην Κρήτη. Το 1537 λεηλατήθηκε από τον Μπαρμπαρόσα, υποδουλώθηκε στους Τούρκους, συμμετείχε ενεργά στην επανάσταση του 1821 και ενσωματώθηκε στο Ελληνικό κράτος το 1832.