Rudy Hartono adalah anak ketiga dari 9 bersaudara yang lahir dari pasangan Zulkarnain Kurniawan. Orang tua Rudy tinggal di Jalan Kaliasin 49 (sekarang Jalan Basuki Rahmat), Surabaya, Jawa Timur dan bekerja sebagai penjahit pakaian pria. Selain itu orang tua Rudy juga mempunyai usaha pemrosesan susu sapi di Wonokromo, Jawa Timur.

Seperti anak-anak seumuran lainnya, Rudy kecil juga tertarik dengan berbagai macam olahraga sejak SD, terutama atletik dan renang. Pada masa SMP dia juga berkecimpung di olahraga bola voli dan pada masa SMA dia juga adalah pemain sepakbola yang handal. Tapi dari semua olahraga yang dia ikuti, keinginan terbesarnya akhirnya hanya jatuh pada permainan bulutangkis. Pada usia 9 tahun, Rudy kecil sudah menunjukkan bakatnya di bulutangkis. Tetapi ayahnya baru menyadarinya ketika Rudi sudah berumur 11 tahun. Sebelum itu Rudy hanya berlatih di jalan raya aspal di depan kantor PLN di Surabaya, yang sebelumnya dikenal dengan Jalan Gemblongan -- ditulis oleh Rudy Hartono dalam bukunya Rajawali Dengan Jurus Padi (1986). Rudy berlatih hanya pada hari Minggu, dari pagi hari hingga pukul 10 malam. Setelah merasa cukup, Rudy memutuskan utuk mengikuti kompetisi-kompetisi kecil yang ada di sekitar Surabaya yang pada masa itu biasanya hanya diterangi oleh sinar lampu petromax.

Setelah ayahnya menyadari bakat anaknya, maka Rudy kecil mulai dilatih secara sistematik pada Asosiasi Bulutangkis Oke dengan pola latihan yang telah ditentukan oleh ayahnya. Sekedar informasi, ayah Rudy juga pernah menjadi pemain bulutangkis di masa mudanya. Zulkarnain pernah bermain di kompetisi kelas utama di Surabaya. Zulkarnain pertama kalinya bermain untuk Asosiasi Bulutangkis Oke yang dia dirikan sendiri pada tahun 1951. Di asosiasi ini ayah Rudy juga melatih para pemain muda. Program kepelatihannya ditekankan pada empat hal utama yaitu: kecepatan, pengaturan nafas yang baik, konsistensi permainan dan sifat agresif dalam menjemput target. Tidak mengherankan banyak program kepelatihannya lebih menekankan pada sisi atletik, seperti lari jarak panjang dan pendek dan juga latihan melompat (high jump).

Ketika Rudy mulai berlatih di Asosiasi yang dimiliki ayah pada saat itulah Rudy merasakan latihan profesional yang sesungguhnya. Pada saat itu asosiasi tempat ayah Rudy melatih hanya mempunyai ruangan latihan di gudang gerbong kereta api di PJKA Karangmenjangan. Dengan kondisi seperti itu Rudy tetap berlatih dengan bersemangat bahkan dia merasa bahwa tempat latihan ayahnya jauh lebih baik dari tempat latihan sebelumnya karena ruangan gedung telah memakai cahaya lampu listrik sehingga dia bisa tetap berlatih dengan maksimal sampai malam hari. Selain itu lapangan yang disediakan juga lebih baik dibanding sebelumnya dan juga ada kantin yang berada di samping gedung latihan.

Awal Karir Profesional

Setelah beberapa lama bergabung dengan grup ayahnya, akhirnya Rudy memutuskan untuk pindah ke grup bulutangkis yang lebih besar yaitu Grup Rajawali, grup yang telah melahirkan banyak pemain bulutangkis dunia. Pada awal dia bergabung dengan grup ini, Rudy merasa sudah menemukan grup terbaik untuk mengembangkan bakat bulutangkisnya. Akan tetapi setelah berdiskusi dengan ayahnya, Rudy mengakui bahwa jika dia ingin karirnya di bulutangkis meningkat maka dia harus pindah ke tempat latihan yang lebih baik, oleh sebab itu Rudy memutuskan untuk pindah pada Pusat Pelatihan Thomas Cup pada akhir tahun 1965. Tak lama setelah itu, penampilan Rudy semakin membaik. Bahkan dia turut ambil bagian dalam memenangkan Thomas Cup untuk Indonesia pada tahun 1967. Pada umur 18 tahun, untuk pertama kalinya Rudy memenangkan titel Juara All England dengan mengalahkan Tan Aik Huang dari Malaysia dengan hasil akhir 15-12 dan 15-9. Setelah itu dia terus memenangkan titel ini sampai dengan tahun 1974.

Daftar prestasi pada kejuaraan All England1968: Menang - mengalahkan Tan Aik Huang, (Malaysia)
1969: Menang - mengalahkan Darmadi (Indonesia)
1970: Menang - mengalahkan Svend Pri (Denmark)
1971: Menang - mengalahkan Muljadi (Indonesia)
1972: Menang - mengalahkan Svend Pri (Denmark)
1973: Menang - mengalahkan Christian Hadinata (Indonesia)
1974: Menang - mengalahkan Punch Gunalan (Malaysia)
1975: Kalah - dikalahkan Svend Pri (Denmark)
1976: Menang - mengalahkan Liem Swie King (Indonesia)
1977: - Tidak ikut
1978: Kalah - dikalahkan Liem Swie King (Indonesia)