Γεννημένος σε μουσική οικογένεια (ο πατέρας Mick ήταν πιανίστας τζαζ και η αδελφή Sally δασκάλα κλαρινέτου), ο Gillespie εμπνεύστηκε για πρώτη φορά να γράψει τραγούδια αφού άκουσε το "You Know Who I Am" του Leonard Cohen σε μια τοπική ραδιοφωνική εκπομπή σε ηλικία 14 ετών.
Μερικά χρόνια αργότερα, ο Gillespie κάνει το επαγγελματικό του ντεμπούτο στο μετρό του Παρισιού, παίζοντας σε κοινό σε φολκ κλαμπ του Λονδίνου και στα καφέ Darlinghurst του Σίδνεϊ πριν επιστρέψει στο Ώκλαντ στις αρχές της δεκαετίας του '80.