Ο πατέρας του δούλεψε για αρκετά χρόνια στο φούρνο του αδελφού του στον Γαλατά ενώ αργότερα μοίραζε ψωμί στα σπίτια με τη βοήθεια του μικρού Στελλάκη. Παράλληλα με το σχολείο ο μικρός Στελλάκης πήγαινε τακτικά και στην εκκλησία του Άγιου Ιωάννη των Χίων στον Γαλατά όπου έμαθε και να ψέλνει πλάι σε πολύ καλούς ψάλτες της εποχής. Στην Σμύρνη έμεινε μέχρι την κατάρρευση του μετώπου τον Αύγουστο του 1922.
Με τις τραγικές μέρες της καταστροφής περνάει με τους μετανάστες στα Μεστά της Χίου (το χωριό της μητέρας του) και καταλήγει στον Πειραιά στην περιοχή της Δραπετσώνας. Μέχρι το 1925 ο Σταλλάκης Περπινιάδης εργάζεται σε χρωματοπωλείο ενώ παράλληλα συνεχίζει την ενασχόληση του ως ψάλτης.