Menurut cerita keluarga, Dirrikaya masih remaja kurus ketika ia membuat keputusan penting untuk berlayar ke luar negeri. Menurut sejarah lisan, total empat orang Anindilyakwa berlayar bersama awak kapal asing menuju pelabuhan Makassar.
Dalam jurnal yang ditulis gubernur jenderal Belanda pada tahun 1824 dijelaskan bahwa ada orang aborigin yang berjalan di jalanan Makassar. “Mereka berkulit sangat hitam, bertubuh tinggi, dengan rambut keriting, kaki panjang kurus, dan secara umum, berbadan tegap.”
Pada tahun 1873 ketika mengambil foto hitam putih di kota pelabuhan Makassar, Beccari juga menulis dalam jurnalnya bahwa beberapa perahu datang ke Makassar setiap tahun dari Australia bagian utara. Ini adalah bukti sejarah yang sangat berharga, menurut Profesor Lynette Russell dari Monash University.tidak ada keraguan bahwa masyarakat aborigin datang ke Makassar dan tinggal serta berkeluarga.
Beberapa orang kembali ke Australia, namun yang lain tidak, Dirrikaya sendiri memutuskan untuk kembali ke Australia untuk melihat negaranya lagi dan orang tuanya. Dirrikaya kembali dari kematian, dan menceritakan kisah-kisah aneh tentang negeri yang sangat jauh. Namun bagi Dirrikaya, di tengah kegembiraannya, ada kesedihan.Dia telah meninggalkan istri dan anak-anaknya di seberang lautan.
Dirrikaya berharap mereka akan datang menemuinya di kapal Makassar. Setiap tahun ia melihat cakrawala tetapi istri serta anak-anaknya tidak pernah ada di sana dan dia menangis untuk mereka. Beberapa tahun kemudian muncul keputusan yang menutup kemungkinan adanya kontak.Ketika pemukiman Inggris meluas ke wilayah utara Australia, resistensi terhadap pengunjung asing meningkat, dan pihak berwenang Australia menutup perdagangan teripang Asia pada tahun 1907.
