Ο πατέρας του Γιώργου Κάβουρα, Σταμάτης, εξαιρετικός βιολιστής και οργανοποιός με καταγωγή από το Λίβισι της Μικράς Ασίας, για να γλυτώσει από τις διώξεις των Τούρκων βρίσκει καταφύγιο στα 1906 στο Καστελλόριζο. Εκεί γνωρίζεται με τη Γαρουφαλλιά Μπεηγιώργη επίσης Μικρασιάτικης καταγωγής και παντρεύονται.
Ο Γιώργος, πρώτο παιδί της οικογένειας, γεννιέται στα 1909 (ή πολύ πιθανόν το 1907). Στα 1918 όλη η οικογένεια βρίσκεται στον Πειραιά, κατοικούν αρχικά στο Χατζηκυριάκειο και μετά τη Μικρασιατική καταστροφή στη Δραπετσώνα.
Αρχίζει να ασχολείται με τη μουσική σαν οργανοπαίκτης αρχικά - έπαιζε βιολί, σαντούρι αλλά και κιθάρα - στην κομπανία του πατέρα του, παίζοντας στις ταβέρνες του Πειραιά και σε πανηγύρια.
Στα τέλη του 1930, ο Γιώργος Κάβουρας, με τη βοήθεια του φίλου του Γιάννη Αγορόπουλου–Χατζή και ενός ταξιτζή, κλέβει την Ειρήνη Κωνσταντάρα με την οποία παντρεύεται και αποκτούν τέσσερα παιδιά.
