Γόνος της μεγάλης οικογενείας των Ράλληδων σπούδασε Νομικά και Πολιτικές Επιστήμες στο Πανεπιστήμιο Αθηνών. Η κήρυξη του Ελληνοϊταλικού Πολέμου τον βρήκε να υπηρετεί ως ανθυπίλαρχος στο Ιππικό. Πολέμησε στα βουνά της Βορείου Ηπείρου στην Α΄ Ομάδα Αναγνωρίσεως και διακρίθηκε για την ανδρεία του. Εργάστηκε ως Δικηγόρος από το 1941. Ασχολήθηκε με την Πολιτική και εξελέγη πολλές φορές Βουλευτής Αθηνών, σε όλες τις εκλογικές αναμετρήσεις από το 1950 έως το 1963. Διετέλεσε Υπουργός, Προεδρίας Κυβερνήσεως 1954-56, Συγκοινωνιών και Δημοσίων Έργων 1956-58, Εσωτερικών 1961-63 και πάλιν Εσωτερικών το 1967 όταν έγινε το στρατιωτικό πραξικόπημα των Συνταγματαρχών.

Μετά την μεταπολίτευση του 1974 εξελέγη και πάλι πολλές φορές βουλευτής και υπουργοποιήθηκε, ως Υπουργός Εσωτερικών το 1974 , Προεδρίας της Κυβερνήσεως 1975-77, Εθνικής Παιδείας και Θρησκευμάτων 1976-77 με μεγάλο ριζοσπαστικό έργο για την εκπαιδευτική μεταρρύθμιση και την εισαγωγή της νεοελληνικής γλώσσας σε όλες τις βαθμίδες της αλλά και στη Δημόσια Διοίκηση με κατάργηση της καθαρεύουσας. Στη συνέχεια έγινε υπουργός Συντονισμού και Εξωτερικών 1978-80 και συνέβαλε στην αποδοχή της Ελλάδος ως 10 μέλους της Ευρωπαϊκής Ενώσεως (ΕΟΚ).

Εκλέχθηκε και διαδέχτηκε το 1980 τον Κ. Καραμανλή ως αρχηγός του κόμματος της Νέας Δημοκρατίας και ως Πρωθυπουργός της Ελλάδος έως το 1981. 1980 – 1981) Το 1993 τερματίζει την βουλευτική του καριέρα.

Υπήρξε ένας ήπιων τόνων πολιτικός , Δημοκράτης και Ευπατρίδης. Τιμήθηκε από την Πολιτεία με Αριστείο Ανδρείας, Πολεμικό Σταυρό Γ’ τάξεως, Μετάλλιο Εξαιρέτων Πράξεων,  εγαλόσταυρο της Τιμής, και Μεγαλόσταυρους από την Γαλλία, Ισπανίας, Πορτογαλίας, Ταϊλάνδης και Αβησσυνίας.

Άφησε ένα σημαντικό και πλούσιο συγγραφικό έργο κυρίως ιστορικοπολιτικό. Επιλεκτικά αναφέρουμε : Δύο Δρόμοι, Η αλήθεια για τους Έλληνες Πολιτικούς, Η τεχνική της Βίας, Ώρες ευθύνης, Πολιτικές εκμυστηρεύσεις, Κοιτάζοντας πίσω, Τάδε έφη, Εις ώτα μη ακουόντων κ.α