Sachverhalt:
A. Der 1976 geborene, zuletzt bis 31. Oktober 2010 bei der T._ AG tätig gewesene A._ beanspruchte ab 1. November 2010 Arbeitslosenentschädigung. Auf Vermittlung des Regionalen Arbeitsvermittlungszentrums hin absolvierte er am 22. Dezember 2010 im Restaurant X._ welches eine offene Stelle zu besetzen hatte, einen Probetag. Ein Arbeitsverhältnis kam nicht zustande. Mit Verfügung vom 4. Juli 2011 stellte die Dienststelle Wirtschaft und Arbeit (wira) des Kantons Luzern A._ wegen Nichtannahme einer zumutbaren Arbeit für 31 Tage in der Anspruchsberechtigung ein. Daran hielt die Dienststelle mit Einspracheentscheid vom 12. Oktober 2011 fest.
B. Die von A._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 23. Januar 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, es sei der angefochtene Entscheid aufzuheben, auf die Einstellung in der Anspruchsberechtigung zu verzichten und die Verwaltung zu verpflichten, die volle Versicherungsleistung zu erbringen; eventuell sei die Sache in Aufhebung des vorinstanzlichen Entscheides zu ergänzender Abklärung und neuer Beurteilung an das kantonale Gericht zurückzuweisen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ersucht.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Sachverhaltsfeststellungen der Vorinstanz können nur berichtigt werden, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>).
2. Streitig und zu prüfen ist, ob der Beschwerdeführer zu Recht wegen Nichtannahme einer zumutbaren Arbeit für 31 Tage in der Anspruchsberechtigung auf Arbeitslosenentschädigung eingestellt wurde.
Das kantonale Gericht hat die gesetzliche Regelung, dass die versicherte Person unter anderem dann in der Anspruchsberechtigung einzustellen ist, wenn sie eine zumutbare Arbeit nicht annimmt (<ref-law>), und die Rechtsprechung, wonach dieser Tatbestand schon dann als erfüllt gilt, wenn die versicherte Person durch ihr Verhalten in Kauf nimmt, dass die Stelle anderweitig besetzt wird (<ref-ruling> E. 3b S. 36; Urteil C 162/02 vom 29. Oktober 2003 E. 1, nicht publ. in: <ref-ruling>, aber in: SVR 2004 AlV Nr. 11 S. 31; aus jüngerer Zeit: Urteil 8C_616/2010 vom 28. März 2011 E. 3.2 mit weiteren Hinweisen), zutreffend dargelegt. Gleiches gilt für den im Sozialversicherungsrecht übliche Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 5b S. 360 mit Hinweise; vgl. auch <ref-ruling> E. 6.1 S. 80). Richtig ist auch, dass die Einstellung nach dem Verschulden der versicherten Person bemessen wird und die Ablehnung einer zumutbaren Arbeit als schweres Verschulden gilt, was eine Einstellung in der Anspruchsberechtigung zwischen 31 und 60 Tagen nach sich zieht (<ref-law> in Verbindung mit Art. 45 Abs. 3 lit. c und Abs. 4 lit. b AVIV jeweils in der seit Anfang April 2011 geltenden Fassung; gleichlautend geregelt in Art. 45 Abs. 2 lit. c und Abs. 3; je in der bis Ende März 2011 gültig gewesenen Fassung).
3. Im vorliegenden Fall geht es um das Verhalten des Beschwerdeführers im Zusammenhang mit einer - unbestrittenermassen zumutbaren - Stelle, welche im Restaurant X._ zu besetzen gewesen wäre.
4. Das kantonale Gericht ist zum Ergebnis gelangt, es sei mit überwiegender Wahrscheinlichkeit davon auszugehen, dass der Versicherte dem Arbeitgeber nicht, wie mit diesem vereinbart, am 23. Dezember 2010 um 22.00 Uhr telefoniert und dadurch die - dann auch erfolgte - anderweitige Stellenvergabe in Kauf genommen habe. Das rechtfertige eine Einstellung in der Anspruchsberechtigung.
4.1 Der Beschwerdeführer wendet ein, er habe im besagten Zeitpunkt mehrfach zu telefonieren versucht. Das Telefon beim Arbeitgeber sei aber besetzt gewesen.
Das kantonale Gericht hat diese Darstellung verworfen. Es stützt sich dabei auf die im Beratungsprotokoll der Verwaltung vom 11. Januar 2011 festgehaltene Aussage des Versicherten, wonach er es im besagten Zeitpunkt "verpasst" habe, anzurufen.
4.1.1 Nach Auffassung des Beschwerdeführers stellt das Beratungsprotokoll vom 11. Januar 2011 keine verlässliche Entscheidungsgrundlage dar, zumal er es nie habe lesen können und auch nicht unterschrieben habe. In seiner im Rahmen des rechtlichen Gehörs abgegebenen schriftlichen Stellungnahme vom 11. April 2011 habe er klargestellt, dass er um 22.00 Uhr mehrfach versucht habe, zu telefonieren, wobei aber das Telefon des Arbeitgeber immer besetzt gewesen sei. Das bestätige auch seine Lebenspartnerin in ihrer schriftlichen Stellungnahme vom 8. November 2011. Nötigenfalls seien hiezu weitere Abklärungen im Sinne von Einvernahmen durchzuführen.
4.1.2 Die Vorinstanz hat erwogen, das Beratungsprotokoll enthalte eine "Aussage der ersten Stunde", welche verlässlicher sei als eine spätere Darstellung, wie diejenige des Versicherten vom 11. April 2011, die bewusst oder unbewusst von nachträglichen Überlegungen versicherungsrechtlicher Art beeinflusst sein könne. Letzteres gelte auch für die mehr als zehn Monate nach dem fraglichen Abend abgegebene Stellungnahme der Lebenspartnerin. Es bestehe kein Anlass, am Inhalt des Beratungsprotokolls zu zweifeln, zumal die übrigen darin enthaltenen Angaben zum Geschehensablauf mit der Schilderung des Arbeitgebers vom 28. Dezember 2010 übereinstimmten.
Diese konkrete Beweiswürdigung der Vorinstanz betrifft Tatfragen und ist daher nur im Rahmen von <ref-law> überprüfbar (vgl. statt vieler: SVR 2011 IV Nr. 57 S. 171, 8C_958/2010 E. 4.2.2 mit Hinweisen; E. 1 hievor). Sie ist weder als offensichtlich unrichtig zu betrachten noch sonstwie rechtswidrig. Was der Beschwerdeführer vorbringt, rechtfertigt keine andere Betrachtungsweise. Beweisregeln wurden nicht verletzt. Es bestehen auch keine verlässlichen Anhaltspunkte dafür, dass die Aussagen im Beratungsprotokoll vom 11. Januar 2011 nicht wahrheitsgetreu niedergeschrieben wurden. Der Umstand, dass der Versicherte und seine Lebenspartnerin - deutlich später - andere Angaben machten, genügt nicht, um die diesbezügliche Würdigung der Vorinstanz als offensichtlich unrichtig erscheinen zu lassen. Letzteres gilt auch hinsichtlich der weiteren Erwägung des kantonalen Gerichts, wonach entgegen dem gestellten Beweisantrag in antizipierter Beweiswürdigung davon abzusehen sei, den Beschwerdeführer und dessen Lebenspartnerin zu befragen.
Beweismässig ist somit davon auszugehen, dass im massgeblichen Zeitpunkt keine Telefonversuche des Versicherten stattfanden.
4.2 Geltend gemacht wird weiter, das Nichtzustandekommen des telefonischen Kontaktes sei ohnehin nicht erheblich gewesen dafür, dass es nicht zur Anstellung im Restaurant X._ gekommen sei.
4.2.1 Die Vorinstanz hat hiezu erwogen, der Arbeitgeber habe gegenüber der Verwaltung am 28. Dezember 2010 telefonisch erklärt, dass er dem Beschwerdeführer "eine Chance gegeben" hätte. Das lasse sich nicht anders deuten, als dass es mit überwiegender Wahrscheinlichkeit zu einem späteren Vertragsabschluss und folglich zu einem Ende der Arbeitslosigkeit gekommen wäre, wenn das fragliche Telefongespräch tatsächlich stattgefunden und der Versicherte Annahme der Stelle erklärt hätte.
4.2.2 Feststellungen über innere oder psychische Tatsachen, wie beispielsweise was jemand wollte oder wusste, gelten ebenfalls als Tatfragen (Urteil 8C_784/2008 vom 11. September 2009 E. 5.3, nicht veröffentlicht in: <ref-ruling>, aber in: SVR 2010 UV Nr. 2 S. 7; ARV 2012 S. 87, 8C_345/2011 E. 4; je mit Hinweisen). Die vorinstanzliche Beurteilung, wonach es aus Sicht des Arbeitgebers bei erfolgtem telefonischem Kontakt am Abend des 23. Dezember 2010 zu einem Vertragsabschluss gekommen wäre, ist weder offensichtlich unrichtig noch rechtsverletzend im Sinne von <ref-law>. Das gilt erst recht, wenn berücksichtigt wird, dass bereits Gespräche über Anstellungsbedingungen vorangegangen waren und es, wie der Versicherte in der Stellungnahme vom 11. April 2011 bestätigt hat, bei der auf 22.00 Uhr angesetzten Kontaktaufnahme nur noch darum ging, ob er mit dem Angebot des Arbeitgebers einverstanden sei.
4.2.3 Damit kann offen bleiben, wie es sich verhielte, wenn dem unterlassenen Telefonat keine so entscheidende Bedeutung für die Frage eines Vertragsabschlusses zugekommen wäre.
4.3 Nach dem Gesagten ist mit der Vorinstanz davon auszugehen, dass der Versicherte eine nach den Umständen gebotene Handlung unterlassen und in Kauf genommen hat, dass die verfügbare Stelle anderweitig vergeben wird, was dann auch geschehen ist. Dies gereicht ihm zum Verschulden. Das kantonale Gericht hat ihn daher zu Recht im Sinne von <ref-law> in der Anspruchsberechtigung eingestellt.
Die Beurteilung ist namentlich, entgegen der in der Beschwerde vertretenen Auffassung, weder willkürlich noch unverhältnismässig. Daran ändert der Hinweis des Versicherten, wonach er vor dem Abend des 23. Dezember 2010 und dann anderntags Kontakt mit dem Arbeitgeber hatte, nichts. Dem Beschwerdeführer kann auch nicht gefolgt werden, soweit er geltend macht, das alleinige Abstellen auf das nicht erfolgte Telefon um 22.00 Uhr sei willkürlich. Er begründet diesen Einwand damit, am 22. Dezember 2010 sei vereinbart worden, er solle sich am nächsten Tag wieder melden. Dem sei er nachgekommen, indem er am 23. Dezember 2010 im Restaurant vorbeigegangen sei. Es ist indessen unbestritten, dass der Arbeitgeber dem Versicherten bei dieser Kontaktaufnahme eröffnete, er habe gerade keine Zeit und der Beschwerdeführer solle sich um 22.00 Uhr wieder melden. Das hat dieser dann unterlassen, was nach dem Gesagten entscheidend ist, hätte doch mit der Annahme des Angebots des Arbeitgebers die Arbeitslosigkeit beendet werden können.
5. Die Vorinstanz hat die im untersten Bereich des schweren Verschuldens liegende Einstellung von 31 Tagen in der Anspruchsberechtigung (<ref-law> in Verbindung mit <ref-law>) bestätigt.
Diese Beurteilung ist rechtmässig. Es liegen keine Gesichtspunkte vor, welche (vgl. <ref-ruling>) rechtfertigen könnten, diesen Rahmen zu unterschreiten und von einem lediglich mittelschweren oder gar leichten Verschulden auszugehen. Das gilt auch unter Berücksichtigung der erfolgten Kontaktaufnahmen zum Arbeitgeber. Der Versicherte beantragt im Übrigen auch nicht, die Einstellungsdauer sei herabzusetzen. Der angefochtene Entscheid ist demnach in allen Teilen rechtens.
6. 6.1 Infolge Unterliegens im Prozess hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>) und ist ihm keine Parteientschädigung zuzusprechen (Art. 68 Abs. 1 und 2 BGG).
6.2 Der Beschwerdeführer ersucht um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung). Deren Gewährung setzt unter anderem voraus, dass die gesuchstellende Partei bedürftig ist (<ref-law>). Bedürftig im Sinne von <ref-law> ist eine Person, wenn sie ohne Beeinträchtigung des für sie und ihre Familie nötigen Lebensunterhaltes nicht in der Lage ist, die Prozesskosten zu bestreiten (<ref-ruling> E. 2.5.1 S. 232 mit Hinweisen; SVR 2010 IV Nr. 10 S. 31, 9C_13/2009 E. 8.2).
Aus den vom Versicherten eingereichten Belegen ergibt sich hiezu Folgendes:
6.2.1 Auf der Einkommensseite sind pro Monat die Arbeitslosenentschädigung des Beschwerdeführers (gemäss aktuellster Abrechnung Fr. 2971.-) und der Lohn seiner mit ihm zusammenlebenden Partnerin (gemäss aktuellster Lohnabrechnung Fr. 2919.- inkl. Anteil 13. Monatslohn) zu berücksichtigen, demnach insgesamt Fr. 5890.-.
6.2.2 Auf der Ausgabenseite können pro Monat der Mietzins (Fr. 920.-), KVG-Prämien (Fr. 557.-), Kosten der Kinderkrippe für das gemeinsame Kind des Beschwerdeführers und seiner Partnerin (Fr. 410.-) sowie Unterhaltszahlungen des Versicherten für ein Kind aus einer früheren Beziehung (Fr. 350.-) angerechnet werden, was gesamthaft Fr. 2237.- ergibt. Hinzu kommen die monatlichen Grundbeträge für den Beschwerdeführer und seine Partnerin (Fr. 1700.-) sowie für das gemeinsame Kind (Fr. 400.-) und der prozessuale Bedürftigkeitszuschlag (20 % der Grundbeträge, demnach Fr. 420.-), mithin Fr. 2520.-. Das ergibt ein Zwischentotal von Fr. 4757.-.
Geltend gemacht werden weiter Ratenzahlungen an zwei Privatkredite sowie Prämien der Privathaftpflicht- und der Hausratversicherung. Die gewöhnliche Tilgung angehäufter Schulden kann indessen nicht berücksichtigt werden, da die unentgeltliche Rechtspflege nicht dazu dienen soll, auf Kosten des Gläubigers Gläubiger zu befriedigen, die nicht oder nicht mehr zum Lebensunterhalt beitragen (Urteil 5C.256/2006 vom 21. Juni 2007 E. 6.1.1, nicht publ. in: <ref-ruling>; Urteil 8C_745/2010 vom 4. April 2011 E. 8.5 mit weiterem Hinweis). Die Ratenzahlungen sind daher nicht anzurechnen. Gleiches gilt für die Versicherungsprämien. Diese sind im Grundbetrag bzw. im prozessualen Zuschlag mitberücksichtigt (Urteil 8C_746/2011 vom 13. März 2012 E. 5.2).
Die überdies geltend gemachten Autokosten sind - bis auf die nachfolgend zu behandelnden Kosten für die Miete eines Parkplatzes - nicht spezifiziert und schon deshalb nicht anrechenbar. Es ist im Übrigen auch nicht erkennbar, ob ein Auto mit Kompetenzcharakter vorhanden ist.
Grundsätzlich anrechenbar wären hingegen - regelmässig bezahlte - Steuerbeträge. Der Beschwerdeführer ist quellensteuerpflichtig, weshalb bei den Auslagen von vornherein kein Steuerbetreffnis hinzuzurechnen ist. Aus den Akten ergibt sich sodann, dass seine Partnerin nach Bezahlung der - provisorischen - Steuern für das Jahr 2011 aus einem früheren Steuerjahr noch ein Guthaben gegenüber der Steuerbehörde aufweist, welches an die Steuern des laufenden Jahres angerechnet werden kann. Es erscheint daher fraglich, ob die Partnerin im laufenden Jahr überhaupt noch Steuern zu entrichten hat. Das muss aber nicht abschliessend beantwortet werden. Werden laufende Steuerzahlungen nach Massgabe der provisorischen Steuern 2011 (pro Monat demnach Fr. 275.-) berücksichtigt, erhöhen sich die Ausgaben auf gesamthaft Fr. 5032.-. Das genügt nicht, um die Bedürftigkeit bejahen zu können, wie sich aus der folgenden Erwägung ergibt.
6.2.3 Nach dem Gesagten stehen Einkünften von Fr. 5890.- Ausgaben von maximal (einschliesslich Fr. 275.- für die Steuern) Fr. 5032.- gegenüber, was einen Einkommensüberschuss von mehr als Fr. 800.- ergibt. Damit ist der Versicherte in der Lage, nebst dem Lebensunterhalt auch die Prozesskosten zu tragen. Das gilt selbst dann, wenn ausgabenseitig auch noch die geltend gemachten offenen Arztkosten (Fr. 334.-) und die Kosten des Parkplatzes (monatlich Fr. 50.-) berücksichtigt werden. Das Gesuch um unentgeltliche Rechtspflege ist daher mangels Bedürftigkeit abzuweisen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 5. Juni 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz